CheckPoint（HDFS/Spark/Flink/)

hdfs：
每隔一段时间，会由SecondaryNameNode将NameNode上积累的所有edits和最新的一个fsimage下载到本地，并加载到内存进行merge（合并），这个过程称为checkpoint
目的：
（1）大大缩小了操作日志的大小
（2）合并之后的磁盘镜像文件可以被nameNode快速的加载到内存中

Spark：
Spark的CheckPoint是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减小开销。

flink：
（1）为了保证state的容错性，Flink需要对state进行checkpoint。
（2）Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性的基于Stream中各个Operator/task的状态生成快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择的从这些快照进行恢复，从而修正因为故障带来的程序数据异常
（3）Flink的checkpoint机制可以与（state和stream）的持久化存储交互的前提：
持久化的source，它需要支持在一定时间内重放事件，这种sources的典型例子就是持久化的消息队列（kafka，RabbitMQ）或文件系统（HDFS，GFS）
用于state的持久化存储，例如分布式文件系统（HDFS,S3，GFS）