Flink 检查点 保存点

检查点（checkpoint）

支持带有事件时间的窗口 （Window） 操作

支持有状态计算的 Exactly-once语义 （依靠以下两点保证）

• 1.flink的checkpoint特性，Flink 检查点算法（Chandy-Lamport 算法的变种）
• 2.是两阶段提交

检查点算法的种类

一种简单的想法（同步的思想）

• 暂停应用，保存状态到检查点，再重新恢复应用（SparkStreaming）

Flink 的改进实现（异步的思想）

• 基于Chandy-Lamport 算法的分布式快照算法
• 将检查点的保存和数据处理分离开，不暂停整个应用

检查点分界线（Checkpoint Barrier，检查点屏障）

分界线对齐：barrier 向下游传递，sum 任务会等待所有输入

分区的barrier 到达

• 对于barrier 已经到达的分区，继续到达的数据会被缓存
• 而barrier 尚未到达的分区，数据会被正常处理

保存点（savepoints）

保存点和检查点的区别

• 原则上，创建保存点使用的算法与检查点完全相同，因此保存点可以认为就是具有一些额外元数据的检查点
• Flink 不会自动创建保存点，因此用户（或者外部调度程序）必须明确地触发创建操作，savepoint 是手动执行的
• 保存点是一个强大的功能。除了故障恢复外，保存点可以用于：有计划的手动备份，更新应用程序，版本迁移，暂停和重启应用，等等