Flink学习 - 8. Checkpoint 与 Savepoint 区别

最新推荐文章于 2023-12-21 22:18:18 发布

Jerome丶子木

最新推荐文章于 2023-12-21 22:18:18 发布

阅读量948

点赞数 1

分类专栏： Flink 文章标签： flink

本文链接：https://blog.csdn.net/jerome520zl/article/details/103925616

版权

10 篇文章 4 订阅

订阅专栏

Checkpoint

CheckPoint可以理解为：将State状态数据持久化，注意这个CheckPoint是在同一时间点 Task/Operator的状态的全局快照。

CheckPoint是Flink在输入的数据集上间隔性的生成checkpoint barrier，并通过barrier将时间间隔段内的数据划分到相应的CheckPoint中。一旦Flink程序意外崩溃时，重新运行程序时可以有选择的从这些快照中恢复所有算子之前的状态，从而保证数据一致性。

Savepoint 是用来为整个流应用程序在某个“时间点”（point-in-time）的生成快照的功能。
该快照包含了输入源的位置信息，数据源读取到的偏移量（offset），以及整个应用的状态。借助 Chandy-Lamport 算法的变体，我们可以无需停止应用程序而得到一致的快照。

Savepoint 包含了两个主要元素：

目标：从概念上讲，Flink 的 Savepoint 和 Checkpoint 的不同之处很像传统数据库中备份与恢复日志之间的区别。Checkpoint 的主要目标是充当 Flink 中的恢复机制，确保能从潜在的故障中恢复。相反，Savepoint 的主要目标是充当手动备份、恢复暂停作业的方法。
实现：Checkpoint 和 Savepoint 在实现上也有不同。Checkpoint 被设计成轻量和快速的机制。它们可能（但不一定必须）利用底层状态后端的不同功能尽可能快速地恢复数据。例如，基于 RocksDB 状态后端的增量检查点，能够加速 RocksDB 的 checkpoint 过程，这使得 checkpoint 机制变得更加轻量。相反，Savepoint 旨在更多地关注数据的可移植性，并支持对作业做任何更改而状态能保持兼容，这使得生成和恢复的成本更高。
生命周期：Checkpoint 是自动和定期的，它们由 Flink 自动地周期性地创建和删除，无需用户的交互。相反，Savepoint 是由用户手动地管理（调度、创建、删除）的。

作业恢复时，二者均可以使用，主要区别如下：

Savepoint	Externalized Checkpoint
用户通过命令触发，由用户管理其创建与删除	Checkpoint 完成时，在用户给定的外部持久化存储保存
标准化格式存储，允许作业升级或者配置变更	当作业 FAILED（或者 CANCELED）时，外部存储的 Checkpoint 会保留下来
用户在恢复时需要提供用于恢复作业状态的 savepoint 路径	用户在恢复时需要提供用于恢复的作业状态的 Checkpoint 路径