Flink中保存点(Savepoint)和检查点(Checkpoint)的区别

#Flink中保存点(Savepoint)和检查点(Checkpoint)的区别

从保存的内容上看，保存点和检查点都持久化某一时刻系统的状态，但是保存点会额外保存元数据。

从触发时机上看，检查点是由Flink自动管理的，定期创建的，故障发生后自动读取，进行恢复；而保存点不会自动创建，必须由用户明确地手动触发保存操作。

//检查点一般配置项
StreamExecutionEnvironment env = 
StreamExecutionEnvironment.getExecutionEnvironment();

env.enableCheckpointing(1000);// 设置每隔 1 秒进行一次保存

//可以配置两种存储路径
//存储在堆内存中
env.getCheckpointConfig().setCheckpointStorage(new JobManagerCheckpointStorage());
//存储在hdfs中
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://namenode:40010/flink/checkpoints"));

#保存点手动保存与手动恢复方法
#1 当程序正在运行时保存
bin/flink savepoint :jobId [:targetDirectory]
#在flink-conf.yaml中可以配置保存路径
state.savepoints.dir: hdfs:///flink/savepoints
#保存路径也可以在代码中设置
env.setDefaultSavepointDir("hdfs:///flink/savepoints");

#2 当程序即将关闭时保存
bin/flink stop --savepointPath [:targetDirectory] :jobId

#3 手动从保存点重启应用
bin/flink run -s :savepointPath [:runArgs]

从业务场景上看，检查点适合在程序运行出错时将程序恢复到正常状态。而保存点则适合在程序进行版本升级时将新版本的程序运行状态调整成上个版本的状态。

//值得注意的是。保存点之所以能在程序代码变更时仍然能恢复上个版本的数据，主要原因在于它能保存原系统状态的拓扑结构和数据类型。保存点中状态都是以算子ID-状态名称这样的 key-value 组织起来的，算子ID 可以在代码中直接调用 SingleOutputStreamOperator 的.uid()方法来进行指定：

DataStream<String> stream = env
 .addSource(new StatefulSource())
 .uid("source-id")
 .map(new StatefulMapper())
 .uid("mapper-id")
 .print();

//虽然不手动为算子设置uid系统会自动生成，但是重新启动应用后可能会导致ID不同而无法兼容以前的状态。所以为了方便后续维护，尽量在程序中为每一个算子手动指定ID

检查点和保存点在保存方式上都是相同的，都是借助Barrier将各个算子中的状态进行保存。如下图所示：

改图中由JobManager定时发起保存操作，此时会向Source中添加一个Barrier，并保存Source中的偏移量（上图偏移量为3），之后其他算子在遇到流中的Barrier时会立即保存当前算子的状态。其他算子在遇到流中的Barrier也同时意味这Barrier之前的数据已经被处理了。