Flink 从 Checkpoint 中恢复数据

最新推荐文章于 2024-03-06 23:37:24 发布
最新推荐文章于 2024-03-06 23:37:24 发布
阅读量6.5k 收藏 5
点赞数 2
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104342019
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏

本文开头附：Flink 学习路线系列 ^ _ ^

接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。

当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。

1. 任务异常，设置保存 CheckPoint 中途数据不被删除

       如果现在有个任务已经执行很长时间，这样就突然停止了，那么中间过程处理结果全丢了，重启后重跑岂不很浪费时间。这样显然是不行的，所以我们可以通过以下设置来保存任务处理中途的 CheckPoint 数据的（如果不设置，任务停止后CheckPoint数据会自动删除）。

 //系统异常退出或人为 Cancel 掉，不删除checkpoint数据
StreamExecutionEnvironment env = StreamExecutionEnvironment.get
了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
订阅专栏
flink checkpoint 恢复_Flink on Zeppelin (9). Checkpoint & Savepoint
weixin_26854829的博客
12-27 661
Checkpoint 和 Savepoint 都是用来存储 Flink Job的状态。如果你要用 Flink来上生产，那么 Checkpoint 和 Savepoint是必不可少的。Checkpoint 和 Savepoint 的主要使用场景有以下两种：在一个Flink Job生命周期内 (JobManager 没有退出)，如果某个Task挂掉了，Flink会自动重新启动整个Job，重启...
flink checkpoint 恢复_Flink 从Checkpoint中恢复作业
weixin_39977642的博客
12-27 2061
Flink 1.11 版本1. 配置如果我们的任务已经执行很长时间，突然遇到故障停止，那么中间过程处理结果就会全部丢失，重启后需要重新从上一次开始的位置消费，这会花费我们很长的时间。这种结局显示我们不能接受，我们希望的是作业在故障失败重启后能保留之前的状态并能从失败的位置继续消费。可以通过如下配置保存处理状态：final StreamExecutionEnvironment env = ...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 CheckPoint 中途数据不被删除        如果现在有个任务已经执行很长时间，这样就突然停止了，那么中间过程处理结果全丢了，重启后重跑岂不很浪费时间。这样显然是不行的，所以我们可以通过以下设置来保存任务处理中途的 CheckPoint 数据的（如果不设置，任务停止后CheckPoint数据会自动删除）。 //系统
flink重温笔记（十一）：Flink 高级 API 开发——flink 四大基石之 Checkpoint（详解存储后端）
m0_60732994的博客
03-06 1923
1- Flink 检查点机制，（协调者）定期在数据流上生成 checkpoint barrier；2- 当某个算子接收到barrier（数据栅栏） 时，会基于当前状态生成一份快照；3- 后将 barrier 传递给下游算子，依次快照并传递下去，直到 sink；4- 出现异常时，根据最近的快照数据，将所有算子恢复到之前状态；5-收到所有算子的报告后，才认为该周期快照成功。flink-conf.yaml 配置文件的 restart-strategy 配置参数决定重启策略。重启策略重启策略值。
flink根据checkpoints状态恢复数据
bankq的博客
07-02 4777
说明 flink消费kafak数据至ES 在程序中已经启用了checkpoints 1、启动flink程序 [bigdata@cdh03 /bigdata/flink-1.7.2-client/sh]$cat submit-flink-yarn-merge.sh #!/bin/bash ​ #-m 运行模式，这里使用yarn-cluster，即yarn集群模式。 #-ys slot个数。 #-ynm Yarn application的名字。 #-yn task manager 数量。-yn
从checkpoint恢复flink job
热门推荐
帆了个帆的专栏
03-26 1万+
flink使用checkpoint方式保存task的状态，当task失败时，可以从之前checkpoint地方恢复状态； 如果说整个应用挂了，如何根据之前checkpoint来恢复应用的状态； 首先应用挂了的话，它默认会删除之前checkpoint数据，当然我们可以在代码中设置应用退出时保留checkpoint数据 CheckpointConfig config = env.getChec...
Flink CheckPoint状态点恢复与savePoint机制
u011250186的博客
10-23 1383
Flink CheckPoint状态点恢复与savePoint机制 2019-01-21 22:40:41大数据技术与架构阅读数 203更多 分类专栏：Flink从入门到实践 转载自：https://blog.csdn.net/shenshouniu/article/details/84558874 欢迎加入大数据学习群： **Flink学习视频：**http://ed...
flink 关于checkpoint 疑虑 1
08-04
背景flink 集群模式 flink on yarn使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的
flink水位线案例 中的数据源
最新发布
03-30
数据源
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
Flink 中文文档资料.zip
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
flink checkpoint 恢复_flink-savePoint
weixin_32770697的博客
12-08 576
引用：说到 Savepoint，这里也提一下社区完成的另外一个实用功能，即FLIP-34（Stop with Savepoint）。大家都知道 Flink 会周期性的进行 Checkpoint，并且维护了一个全局的状态快照。假如我们碰到这种场景：用户在两个Checkpoint 周期中间主动暂停了作业，然后过一会又进行重启。这样，Flink 会自动读取上一次成功保存的全局状态快照，并开始计算上一次全...
Flink checkpoint机制以及恢复
HiBoyljw的博客
10-29 3755
什么是checkpoint? checkpoint 则表示了一个 Flink Job ，在一个特定时刻的一份全局状态状态快照，即包含了一个 job 下 所有 task/operator 某时刻的状态。 问题九、使用checkpoint（检查点）的作用？ 使用Checkpoint提高程序的可靠性 用户可以根据程序里面的配置将checkpoint打开，给定一个时间间隔后，框架会按照时间间隔给程序的状态进行备份。 当发生故障时，Flink会将所有Task的状态一起恢复到Checkpoint的状态。从那个位置开始
Flink通过checkpoint实现状态恢复
qq_31866793的博客
11-14 4947
1，我们先看一下最简单的代码，消费kafka的数据然后state存储，通过checkpoint保存到hdfs package application; import appOperator.stateMap; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.fli...
Flink（三十九）—— Flink Checkpoint 问题排查实用指南
weixin_42073629的博客
10-21 448
在 Flink 中，状态可靠性保证由 Checkpoint 支持，当作业出现 failover 的情况下，Flink 会从最近成功的 Checkpoint 恢复。 在实际情况中，我们可能会遇到 Checkpoint 失败，或者 Checkpoint 慢的情况，本文会统一聊一聊 Flink 中 Checkpoint 异常的情况（包括失败和慢），以及可能的原因和排查思路。 1. Checkpoint 流程简介 首先我们需要了解 Flink 中 Checkpoint 的整个流程是怎样的，在了解整个流程之后，
flink-Checkpoint容错恢复
互联网知识分享
05-20 1150
（2）目前本人测试不能在flink的xshell命令行界面进行Ctrl+C进行退出(这个也很好奇，webUI的cancel 单击是模拟正常的)，否则Checkpoint文件是没有真正意义上的保存到本地路径的，但在flink-WebUI的界面却显示了成功保存路径的信息，而实际没有保存，这个问题要严重注意，千万不要随便按Ctrl+C，但可以按ctrl+z，后台运行。）Flink故障恢复机制的核心，就是应用状态的一致性检查点有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份 拷贝（一份快照）；
Flink 本地调试从checkpoint恢复
夏夏夏
07-05 521
flink 本地调试从检查点恢复
Flink 从checkpoint恢复，并行度改变后，状态重分配
wppwpp1的专栏
12-02 1823
前提： 当Flink左右从checkpoint恢复，或者从savepoint中重启的时候，就回涉及到状态的重新分配，尤其是当并行度发生改变的时候。 本文只是说了Operator State和Key State恢复时的策略。如果只是想要使用，那么可以移步笔者的另一篇文章 ： Flink SavePoint(checkpoint)的使用与从中恢复 Operator State Redistribute 当operator改变并行度的时候(Rescale),会触发状态的Redistribute，即O.
flink checkpoint 恢复_Flink端到端Exactly-once
weixin_31047023的博客
12-27 221
Exactly-once语义 Flink自1.4.0开始实现exactly-once的数据保证，即在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。具体实现依赖于抽象类TwoPhaseCommitSinkFunction，用户只需要实现类接口就可以自己定义对外部系统的exactly-once。 Flink的checkpoint可以保证作业失败的情况下从最近一次快照...
flink cdc checkpoint恢复问题
11-11
在使用Flink CDC时，可能会遇到checkpoint恢复问题。这些问题通常包括如何有效地设置CDC和checkpoint的配置参数，以及如何正确地处理状态恢复过程中的数据变化。例如，在进行checkpoint恢复时，可能会遇到数据重放、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值