flink checkpoint配置详解

已于 2024-04-30 08:51:16 修改
阅读量1.8w 收藏 24
点赞数 7
分类专栏： 实时计算Flink 文章标签： flink 大数据 big data
于 2022-02-26 09:50:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chanyue123/article/details/123084761
版权
本文详细介绍了Apache Flink的检查点配置，包括代码设置与`flink-conf.yaml`配置文件的选项，强调了检查点间隔、模式、存储位置、超时时间等关键参数。讨论了检查点间隔的适宜范围，以及如何优化配置以平衡处理效率与容错能力。同时提到了本地恢复和保存点策略，确保任务恢复的高效性和可靠性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果都设置了，则代码中会覆盖flink-conf.yaml中的配置

代码中设置

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 开启checkpoint 每5000ms 一次
env.enableCheckpointing(5000);
// 设置有且仅有一次模式 目前支持 EXACTLY_ONCE/AT_LEAST_ONCE        
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 设置checkpoint的存储位置
env.getCheckpointConfig().setCheckpointStorage("hdfs:///flink/checkpoints");
// 设置savepoint的存储位置
env.setDefaultSavepointDirectory("hdfs:///flink/checkpoints");
// 设置checkpoint的超时时间 即一次checkpoint必须在该时间内完成 不然就丢弃
env.getCheckpointConfig().setCheckpointTimeout(600000);
// 设置两次checkpoint之间的最小时间间隔
env.getCheckpointConfig().setMin

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 的 Checkpoint配置详解
猫猫爱吃小鱼粮
09-18 2182
Flink 的 Checkpoint 配置详解
flink的checkpoint参数优化
mars275173972的博客
03-20 1682
增加有关checkpoint的优化参数 SET execution.checkpointing.timeout = 30min; --checkpoint超时时长 SET execution.checkpointing.min-pause = 1200s; --checkpoint间隔时间 SET execution.checkpointing.externalized-checkpoint-retention = DELETE_ON_CANCELLATION; --作业失败删除checkpoint SET
Flink Checkpoint机制详解
最新发布
ray_paul1的博客
02-25 817
Checkpoint是一种状态快照机制，用于在流处理作业中定期保存作业的状态。Flink作业通常会在内存中维护一些状态（如窗口、聚合结果、历史记录等），当作业运行中发生故障时，Checkpoint能帮助系统恢复到最近的有效状态，从而避免丢失数据或重复处理数据。Flink的Checkpoint机制不仅能够保证作业的容错性，还能够支持精确一次（exactly-once）语义，即每条数据只会处理一次，即使发生了故障也能正确恢复。
Flink 的 Checkpoint配置详解_flink 设置checkpoint
2401_89285764的博客
01-11 311
最后一个barrier到达 该Task时，这个Task的备份结束。
Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了
2401_84160361的博客
04-17 2147
【代码】Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了。
flink的checkpoint配置
weixin_43857576的博客
12-23 4351
Flink默认不启用Checkpoint机制。一般在生产环境下，都需要开启Checkpoint机制，此时可以通过如下方式开启，并进行相关配置： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //每间隔2000ms进行CheckPoint env.enableCheckpointing(2000); //
Flink Checkpoint 详解
阳阳阳的博客
04-08 8791
【Flink】Flink Checkpoint 流程解析
HHoao的博客
12-03 1343
任务运行后 JobMaster 定时执行 Checkpoint，JobMaster 会通过调用 CheckpointCoordinator 对作业进行 Checkpoint。CheckpointCoordinator 开始进行 Checkpoint，它首先会先创建 PendingCheckpoint，然后开始给 Checkpoint 计时，再关闭网关开始触发 OperatorCoordinator 的 Checkpoint。
flink checkpoint 两阶段提交协议详解
涛声依旧, 万古流名
04-19 1762
精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。
flink checkpoint配置整理
路过君的博客
05-31 1955
版本 flink 1.14.4 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 启用 checkpoint,设置触发间隔（两次执行开始时间间隔） env.enableCheckpointing(3000); // 模式支持EXACTLY_ONCE()/AT_LEAST_ONCE() env.getCheckpointConfig().setCheckpointingMo
Flink 检查点配置
记录点点滴滴
06-18 1743
当有界数据 , 部分Task 完成 , Flink 1.14 后 , 它们依然能进行检查点。检查点存储 (CheckpointStorage) : 持久化存储位置。Rocksdb 状态后端 : 启用增量 checkpoint。
flink 检查点（checkpoint）配置与使用
Aspirin's Nest
12-01 1万+
前言 之前文章有讲过flink的有状态算子。有状态算子就是讲算子产生的中间结果存储在Flink的一些内存数据结构中，比如ValueState、MapState等等。这可以算一种计算机制。比如对流中的某个字段进行累加，我们必须要保存累加的中间结果，下一个事件才能知道加谁。 但是距离容灾还差一段距离。比如job失败了，程序都没有了，内存中也就没有状态数据了。这时候就需要检查点了。所以，检查点就是定期保存任务状态的机制。但是状态又保存到哪里了呢？之前说过的状态后端。 检查点是用于错误恢复的，但这是有条件的：
Flink的Checkpoint机制与参数配置
m0_61607827的博客
03-06 2634
Flink的状态都是基于本地的，而Flink又是一个部署在多节点的分布式引擎，分布式系统经常出现进程被杀、节点宕机或网络中断等问题，那么本地的状态在遇到故障时如何保证不丢呢？Flink定期保存状态数据到存储上，故障发生后从之前的备份中恢复，整个被称为Checkpoint机制，它为Flink提供了Exactly-Once的投递保障。本文将介绍Flink的Checkpoint机制的原理。本文会使用多个概念：快照（Snapshot）、分布式快照（Distributed Snapshot）、检查点（Checkpoi
【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例（1） - checkpoint配置及实现
热门推荐
alanchanchn的专栏
12-26 5万+
自动生成数据/**System . err . println(subway + " ，格式化后时间 " + df . format(subway . getEnterTime()));} }/**System . err . println(subway + " ，格式化后时间 " + df . format(subway . getEnterTime()));} }/**
Flink 调优：Checkpoint 配置
GatsbyNewton
05-04 7810
Checkpoint 是 Flink 的失败恢复机制，它的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响。
【详细介绍及演示】Flink之checkpoint检查点的使用
song的博客
11-27 3626
快照点, 是Flink中所有有状态的Operator在某一个时刻的State快照信息/存档信息。一句话概括:Checkpoint就是State的快照。savePointcheckpoint自动完成state快照、savePoint是手动的完成快照。如果程序在没有设置checkpoint的情况，可以通过savePoint设置state快照有两种添加检查点的方式：1、在java代码中自动添加在执行任务时会在hdfs上创建检查点// 第一句：开启快照，每隔1s保存一次快照。
Flink Checkpoint所有配置解读
阿甘兄
04-19 3346
配置类在：org.apache.flink.configuration.CheckpointingOptions 配置解析： 配置 类型 默认值 描述 state.backend String 无 检查点存储，用于在执行过程中存储操作符的本地状态 state.checkpoint-storage String 无 用于恢复检查点状态的检查点存储。 state.backend.changelog.enabled Boolean false 是否开启状态变更日志 state.chec
flink配置checkpoint
07-28
- *3* [Flink的checkpoint配置详解](https://blog.csdn.net/worldchinalee/article/details/107716744)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sf_www

谢谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值