Flink实例(六十三): Flink检查点/保存点提交

本文详细介绍了Flink的检查点和保存点的使用,包括如何生成多个检查点、通过检查点重新提交作业、保存点触发条件以及如何从保存点启动程序。在Flink中,检查点用于作业失败后的自动恢复,而保存点则在需要人为干预的作业重启或升级场景下使用。同时,文章还展示了具体的操作命令,以帮助读者理解并实践这些功能。
摘要由CSDN通过智能技术生成

检查点生成多个

  Flink的检查点默认是生成一个,想要生成多个可以在conf/flink-conf.yaml中添加如下的参数,在这里我设置的是让其生成2个:state.checkpoints.num-retained: 2

如何通过检查点重新提交?

  保存点和检查点内部的生成算法是一致的,工作方式也一致,但保存点相比较检查点有什么不同呢?

  保存点与检查点有什么不同?

  1. 生成逻辑不同
    a) 检查点:通过代码进行生成
    b) 保存点:由用户通过flink命令行或者web控制台进行手动触发
  2. 存储的信息不同
    保存点相比较检查点来说存储了更为详细的一些元数据信息。

检查点在什么情况下触发?
  检查点在作业意外失败后会自动重启,并能够从保存的检查点路径中自动恢复状态,且不影响作业逻辑的准确性。

Q:由于作业重启失败,程序退出,我此时修改完BUG后,想要让我的程序接着当初失败的地方重新运行,那么我应如何启动程序呢?

A:读取失败的检查点,然后依托它重新运行即可
sudo
-u hdfs /myflink/flink-1.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值