yuchuanchen的专栏

之前我们了解过 flink checkpoint 流程 和 flink checkpoint 存储策略 ，而当 flink 作业失败恢复或者用户手动从某一个 savepoint/checkpoint 恢复时，就会触发 state restore 流程。下面我们对该流程进行详细分析。本文代码基于 flink-1.10.1.和 checkpoint 流程一样，checkpoint state restore 也需要 CheckpointCoordinator 的参与。CheckpointCoordinat

我们在 flink checkpoint 流程分析 这篇文章中，详细介绍了 checkpoint 的过程；在 Flink 如何保存状态数据 中，介绍了 state 的分类、state 的三种后端存储方式和具体使用方法，并在逻辑上简要介绍了 statebackend 保存 state 的方法。本文将在上面两篇文章基础上，详细介绍 state 的存储策略。本文基于 flink-1.10 版本。文章目录1.同步阶段1.1 DefaultOperatorStateBackend#snapshot()1.2

flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr