Flink基础（九）：Checkpoint的说明和用法

最新推荐文章于 2024-09-18 20:21:46 发布

Hello Guava

最新推荐文章于 2024-09-18 20:21:46 发布

阅读量6.2k

点赞数 2

分类专栏： Flink学习之路文章标签： flink

本文链接：https://blog.csdn.net/weixin_42155491/article/details/104908857

版权

Checkpoint 在 Flink 中是一个非常重要的 Feature，Checkpoint 使 Flink 的状态具有良好的容错性，通过 Checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。

Checkpoint 介绍及使用

Flink 的 Checkpoint 有以下先决条件：

需要具有持久性且支持重放一定时间范围内数据的数据源。例如：Kafka、RabbitMQ 等。
需要一个能保存状态的持久化存储介质，例如：HDFS、S3 等。

Flink 中 Checkpoint 是默认关闭的，对于需要保障 At Least Once 和 Exactly Once 语义的任务，强烈建议开启 Checkpoint，对于丢一小部分数据不敏感的任务，可以不开启 Checkpoint，例如：一些推荐相关的任务丢一小部分数据并不会影响推荐效果。下面来介绍 Checkpoint 具体如何使用。

首先调用 StreamExecutionEnvironment 的方法 enableCheckpointing(n) 来开启 Checkpoint，参数 n 以毫秒为单位表示 Checkpoint 的时间间隔。Checkpoint 配置相关的 Java 代码如下所示：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 开启 Checkpoint，每 1000毫秒进行一次 Checkpoint
env.enableCheckpointing(1000);

// Checkpoint 语义设置为 EXACTLY_ONCE
env.getCheckpointConfig().setCheckpointing