Flink 的 Checkpoint配置详解_flink 设置checkpoint

最新推荐文章于 2024-05-07 09:54:04 发布

2401_84164469

最新推荐文章于 2024-05-07 09:54:04 发布

阅读量727

点赞数 11

分类专栏： 2024年程序员学习文章标签： flink eclipse 前端

本文链接：https://blog.csdn.net/2401_84164469/article/details/137486361

版权

2024年程序员学习专栏收录该内容

116 篇文章 0 订阅

订阅专栏

2）开启 Changelog

// 要求checkpoint的最大并发必须为1
env.enableChangelogStateBackend(true);

3）代码中用到HDFS，需要导入hadoop依赖、指定访问HDFS的用户名

System.setProperty(“HADOOP_USER_NAME”, “HADOOP”);

4）开启非对齐检查点（barrier非对齐）

// 开启的要求： Checkpoint模式必须是精准一次，最大并发必须设为1
checkpointConfig.enableUnalignedCheckpoints();

// 开启非对齐检查点才生效：默认0，表示一开始就直接用非对齐的检查点
// 如果大于0，一开始用对齐的检查点（barrier对齐），对齐的时间超过这个参数，自动切换成非对齐检查点（barrier非对齐）
checkpointConfig.setAlignedCheckpointTimeout(Duration.ofMinutes(4));

5）检查点常用配置

// 1、启用检查点: 默认是barrier对齐的，周期为5s, 精准一次
env.enableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE);
CheckpointConfig checkpointConfig = env.getCheckpointConfig();

// 2、指定检查点的存储位置
checkpointConfig.setCheckpointStorage(“hdfs:///ip:port/dir”);

// 3、checkpoint的超时时间: 默认10分钟
checkpointConfig.setCheckpointTimeout(60000);

// 4、同时运行中的checkpoint的最大数量
checkpointConfig.setMaxConcurrentCheckpoints(1);

// 5、最小等待间隔: 上一轮checkpoint结束到下一轮checkpoint开始之间的间隔
checkpointConfig.setMinPauseBetweenCheckpoints(1000);

// 6、取消作业时，checkpoint的数据是否保留在外部系统
// DELETE_ON_CANCELLATION:主动cancel时，删除存在外部系统的chk-xx目录（如果是程序突然挂掉，不会删）
// RETAIN_ON_CANCELLATION:主动cancel时，外部系统的chk-xx目录会保存下来
checkpointConfig.setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

// 7、允许 checkpoint 连续失败的次数，默认 0 表示 checkpoint 一失败，job 就挂掉
checkpointConfig.setTolerableCheckpointFailureNumber(10);

6）其它配置参数

Key	Default	Type	Description
state.backend.incremental	false	Boolean	是否开启增量检查点
state.backend.local-recovery	false	Boolean	是否开启本地恢复(支持 EmbeddedRocksDBStateBackend 和 HashMapStateBackend).
state.checkpoints.num-retained	1	Integer	要保留的已完成检查点的最大数量。
state.savepoints.dir	(none)	String	savepoint保存的地址
state.storage.fs.memory-threshold	20 kb	MemorySize	状态数据文件的最小大小。所有小于此状态块的状态块都内联存储在根检查点元数据文件中。此配置的最大内存阈值为1MB。
state.storage.fs.write-buffer-size	4096	Integer	写入文件系统的检查点流的写入缓冲区的默认大小。实际的写入缓冲区大小被确定为此选项和选项“state.storage.fs.memory-threshold”的最大值。
taskmanager.state.local.root-dirs	(none)	String	定义了用于存储基于文件的状态以进行本地恢复的根目录。