flink checkpoint流程

最新推荐文章于 2022-06-24 15:14:12 发布
最新推荐文章于 2022-06-24 15:14:12 发布
阅读量139 收藏
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42223694/article/details/119427457
版权

checkpoint

整体流程
1.jobmanager会定时给source插入barrier
2.source的下游当读取到该barrier时候,会将数据写入到外部存储(hdfs,rocksdb)
3.当发生异常的时候(写入barrier超时,或者报错等),flink可以通过上一次的checkpoint,恢复每个operator的状态,从源头读取数据
4.进而实现恢复

qq_42223694
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1605
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 ...
大数据面试-20210308：hdfs ，Spark streaming， Flink三者中的checkpoint原理 hdfs checkpoint原理
东城庞太师
06-08 722
每达到触发条件，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge （这个过程称为checkpoint），如下图所示：
Flink Checkpoint 流程 同步 还是 异步？
xiao_programmer的博客
04-19 2615
对于 flink checkpoint 的流程，大概分为这几部分。 1. broadcast state 备份存储 2. keyed state 备份存储 3. 用户实现的 CheckpointedFunction 执行 本文主要说明 1 3 部分，2 有时间再补充 先说结论 flink 的 checkpoint 流程并非全同步或全异步，是同步异步并存的。 流程： 算子收到 barry 后，会同步做以下操作： 1. 执行用户实现的 Check...
Flink CheckPoint流程
huangrunxing的专栏
02-11 1060
Flink JobManager会创建一个Checkpoint Coordinator（检查点协调器） 并由Coordinator向source发送Barrier，source收到barrier之后进行备份，并存储到hdfs或者其他介质当中 source同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier） 下游算子收到Barrier之后同样会进行备份操作 下游算子同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier） 重复上面操
Flink Checkpoint 执行流程及优化方案
feiyan的博客
05-02 1819
Flink Checkpoint主要从以下几方面进行介绍： Checkpoint 执行流程 checkpoint 执行失败问题分析 非对齐checkpoint 优化方案 动态调整 buffer 大小 通用增量快照 1. checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在数据流中插入 checkpoint barrier； 每执行到当前算子时，对算子 state 状态进行同步快照与异步上传； 当算子是多输入时，要进行 barrier
Flink Checkpoint源码浅析
y_m___的博客
06-24 843
flink checkpoint
Flink CheckPoint详细过程
qq_15138049的博客
04-30 893
Checkpoint由JM的Checkpoint Coordinator发起 第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。 第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。 第三步，当 task 完成 state 备份后，会将备..
Flink checkpoint 执行流程及优化方案
m0_61607827的博客
04-19 1480
今天为大家带来Flink checkpoint核心知识点以及优化方案，本文主要从以下几方面进行介绍： 1 Checkpoint 执行流程 2 checkpoint 执行失败问题分析 3 非对齐checkpoint 优化方案 4 动态调整 buffer 大小 5 通用增量快照 文章PDF版本已经整理好，扫描下方二维码，添加土哥微信，发你 PDF 版本。 1 checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在...
Flink Checkpoint 原理流程以及常见失败原因分析
稻草人技术博客
12-28 3796
前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Checkpoint，从而开发出更健壮的实时任务。 一、 什么是 Flink Checkpoint 和
Flink Checkpoint-轻量级分布式快照.pdf
03-21
Flink Checkpoint-轻量级分布式快照
flink 关于checkpoint 疑虑 1
08-04
背景flink 集群模式 flink on yarn使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的
Flink采集流程.bmpr
10-28
Flink采集流程.bmpr
Flink Unaligned Checkpoint 在 Shopee 的优化和实践.pdf
03-21
Flink Unaligned Checkpoint 在 Shopee 的优化和实践
基于Matlab的Elman神经网络的数据预测-电力负荷预测模型研究
06-04
【作品名称】：基于Matlab的Elman神经网络的数据预测—电力负荷预测模型研究 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：基于Matlab的Elman神经网络的数据预测—电力负荷预测模型研究
K-means聚类算法C++实现，提供python接口
最新发布
06-04
K-means聚类算法C++实现，提供python接口
Android奇艺高清UI界面源代码.rar
06-04
android studio开发app项目，Android奇艺高清UI界面源代码
linux常用命令大全.docx
06-04
linux常用命令大全 Linux常用命令大全如下，为了保持回答清晰和易于理解，我将这些命令按照其功能进行分类，并辅以必要的解释和示例： 一、文件和目录管理 ls：列出目录内容 -l：以长格式显示文件和目录的详细信息 -a：显示所有文件和目录，包括隐藏文件 -S：按文件大小排序 cd：切换当前目录 cd ~：切换到用户主目录 cd -：切换到上一次所在的目录 cd ..：切换到上一级目录 pwd：显示当前工作目录的绝对路径 mkdir：创建目录 mkdir dirname：创建名为dirname的目录 mkdir -p dir1/dir2：递归创建多级目录 rm：删除文件或目录 rm filename：删除名为filename的文件 rm -r dirname：递归删除名为dirname的目录及其内容 mv：移动或重命名文件/目录 mv oldname
flink checkpoint 流程
06-08
Flink Checkpoint 是一种机制，用于周期性地将应用程序的状态保存到持久化存储中，以便在发生故障时恢复应用程序的状态。下面是 Flink Checkpoint 流程的概述： 1. 触发检查点：Flink 定期触发检查点，以便将当前应用程序的状态保存到持久化存储中。检查点的触发可以通过时间间隔或数据大小等方式进行配置。 2. 状态快照：在触发检查点时，Flink 会将应用程序的所有状态快照（如状态、缓冲和队列）写入持久化存储中。 3. 等待确认：一旦所有状态快照都写入持久化存储中，Flink 会暂停应用程序，等待外部系统确认检查点已成功完成。 4. 完成检查点：一旦外部系统确认检查点已成功完成，Flink 将检查点标记为已完成，并继续运行应用程序。 5. 恢复状态：如果应用程序发生故障，则可以使用最近的已完成检查点来恢复应用程序的状态。在恢复期间，Flink 将重新加载最近的已完成检查点，并从该点开始重新处理数据。 需要注意的是，Flink Checkpoint 流程中的每个步骤都需要耗费一定的时间。因此，在配置检查点时，需要平衡检查点频率和性能开销，以确保应用程序的高可用性和高性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值