Flink CheckPoint流程

最新推荐文章于 2024-03-06 23:37:24 发布
最新推荐文章于 2024-03-06 23:37:24 发布
阅读量1k 收藏 1
点赞数
文章标签： flink hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang_rx/article/details/122880342
版权

Flink JobManager会创建一个Checkpoint Coordinator（检查点协调器）

并由Coordinator向source发送Barrier，source收到barrier之后进行备份，并存储到hdfs或者其他介质当中

source同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）

下游算子收到Barrier之后同样会进行备份操作

下游算子同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）

重复上面操作（发送Barrier，备份，汇报，继续向下发送Barrier）

最终Barrier到达sink，同样进行备份，然后向Coordinator汇报备份完成，至此，整个Checkpoint流程完成。

 

南修子
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1656
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
Flink Checkpoint-轻量级分布式快照.pdf
03-21
3. **Checkpoint 流程**：Flink 的 Checkpoint 过程分为三个主要步骤： - **触发器（Trigger）**：用户可以设置定期或者基于事件的触发策略来启动 Checkpoint。 - **同步屏障（Synchronization Barrier）**：在...
Flink CheckPoint详细过程
qq_15138049的博客
04-30 935
Checkpoint由JM的Checkpoint Coordinator发起 第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。 第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。 第三步，当 task 完成 state 备份后，会将备..
Flink Checkpoint 执行流程及优化方案
feiyan的博客
05-02 1866
Flink Checkpoint主要从以下几方面进行介绍： Checkpoint 执行流程 checkpoint 执行失败问题分析 非对齐checkpoint 优化方案 动态调整 buffer 大小 通用增量快照 1. checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在数据流中插入 checkpoint barrier； 每执行到当前算子时，对算子 state 状态进行同步快照与异步上传； 当算子是多输入时，要进行 barrier
flink checkpoint 执行流程
qq276726581的博客
03-26 377
class Src extends RichSourceFunction<Integer> implements CheckpointedFunction, CheckpointListener { @Override public void initializeState(FunctionInitializationContext context) throws Exception { Syste...
Flink checkpoint 执行流程及优化方案
m0_61607827的博客
04-19 1513
今天为大家带来Flink checkpoint核心知识点以及优化方案，本文主要从以下几方面进行介绍： 1 Checkpoint 执行流程 2 checkpoint 执行失败问题分析 3 非对齐checkpoint 优化方案 4 动态调整 buffer 大小 5 通用增量快照 文章PDF版本已经整理好，扫描下方二维码，添加土哥微信，发你 PDF 版本。 1 checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在...
Flink Unaligned Checkpoint 在 Shopee 的优化和实践.pdf
03-21
《Flink Unaligned Checkpoint在Shopee的优化与实践》 Flink作为一个流行的大数据流处理框架，其检查点（Checkpoint）机制是确保数据准确性和系统容错性的重要手段。然而，传统的对齐检查点（Aligned Checkpoint）...
Flink超神文档.pdf
01-29
- **运行流程**: Flink on YARN 模式下，Flink 任务通过 YARN 进行资源分配和管理。 - **Flink on YARN 两种运行模式**: - **yarn-session模式**: 先启动 YARN session，然后提交 Job 到该 session 中。 - **Run a...
Flink基础教程.rar
09-15
本教程中可能会涵盖如何使用Flink实现简单的实时数据统计、异常检测、实时ETL（提取、转换、加载）流程等实践案例，帮助读者巩固理论知识。 总结，Flink的基础教程将带你走进实时数据处理的世界，通过学习，你可以...
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译...15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化
Direction_Wind的博客
02-20 1918
第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。
checkpoint的过程
Uncle.Cui的技术博客
04-20 523
1、部分用户线程被挂起，禁止访问数据库； 2、记下检查点的时间戳； 3、物理日志缓冲区被刷新到磁盘上的物理日志中； 4、将缓冲池中被修改的数据写入磁盘； 5、检查点信息写入逻辑日志缓冲区； 6、将物理日志写入逻辑日志缓冲区(这个观点之前没有见过）； 7、逻辑日志缓冲区写入磁盘上的逻辑日志中； 8、检查点信息被写入MSGPATH文件，同时更新系统保留页中的信息； 9、挂起的线程被允许...
flink checkpoint原理
zippo
07-23 372
理想中的state管理 理想的状态管理是： 易用，flink提供了丰富的数据结构，简洁易用的接口； 高效，flink对状态的处理读写快，可以横向扩展，保存状态不影响计算性能； 可靠，flink对状态可以做持久化，而且可以保证exactly-once语义； flink中checkpoint执行流程 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致
【Flink 基础篇】Flink 架构（五）：检查点 Checkpoint（看完即懂）
书山有路，学海无涯。记录成长，追逐梦想
01-28 2116
本篇博客我们将介绍 Flink 的检查点（checkpoint）及故障恢复机制，看一下它们如何提供精确一次的状态一致性保障。而在下一篇博客中，我们还会讨论 Flink 所独有的保存点（savepoint）机制，它就像一把 “瑞士军刀”，解决了运行流式应用过程中的诸多难题。
taobao滑动验证码解决方法
热门推荐
loserbai的博客
01-28 1万+
生于理想,死于欲望 分析过程,虽然没啥用的 相信很多朋友都遇到过这个问题,以下是一个分析总结,虽然没多大用,哈哈 最终的解决方法在结尾 以下是我的代码 class ALITBSpider(object): def __init__(self,service_ip,username,password): self.path = "H:\python-练习\爬虫\chromedriver_win32\chromedriver.exe" self.options =.
flink —— checkpoint机制
idream
05-06 3225
引言 checkpoint 刚接触这个机制的是在spark框架中，spark中Lineage（血统）是spark能快速恢复容错的基本，有cache和persist（都是RDD内存缓存），区别只是在于一个包装，cache只有一个默认的缓存级别MEMORY_ONLY ，而persist可以根据情况设置其它的缓存级别。 而存在内存中，保证局部rdd恢复，但如果整个job挂了，内存中的缓存也就不见了，所以出现了checkpoint机制。 checkpoint与cache和persist方案一样，都是将RDD
flink重温笔记（十一）：Flink 高级 API 开发——flink 四大基石之 Checkpoint（详解存储后端）
最新发布
m0_60732994的博客
03-06 2118
1- Flink 检查点机制，（协调者）定期在数据流上生成 checkpoint barrier；2- 当某个算子接收到barrier（数据栅栏） 时，会基于当前状态生成一份快照；3- 后将 barrier 传递给下游算子，依次快照并传递下去，直到 sink；4- 出现异常时，根据最近的快照数据，将所有算子恢复到之前状态；5-收到所有算子的报告后，才认为该周期快照成功。flink-conf.yaml 配置文件的 restart-strategy 配置参数决定重启策略。重启策略重启策略值。
Flink 容错机制 —— CheckPoint【含示例源码】
认知 行动 坚持
08-24 1634
一、Flink 容错 1.1 State 状态 Flink 实时计算程序为了保证计算过程中，出现异常可以容易，就要将中间的计算结果数据存储起来，如果不保存中间结果那么需要重新计算效率就非常低下，这些中间数据就叫做State。 State 可以是多种类型的，默认是保存在 JobManager 的内存中，也可以保存到 TaskManager 本地文件系统或HDFS 这样的分布式文件系统。 1.2 StateBackEnd 用来保存 State 的存储后端就叫做 StateBackEnd。默认是保存在
Flink 检查点（checkpoint）
hyunbar的博客
03-25 6473
Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时，怎么办呢? 如果项链上有很多珠子，你显然不想从...
flink checkpoint 流程
06-08
Flink Checkpoint 是一种机制，用于周期性地将应用程序的状态保存到持久化存储中，以便在发生故障时恢复应用程序的状态。下面是 Flink Checkpoint 流程的概述： 1. 触发检查点：Flink 定期触发检查点，以便将当前应用程序的状态保存到持久化存储中。检查点的触发可以通过时间间隔或数据大小等方式进行配置。 2. 状态快照：在触发检查点时，Flink 会将应用程序的所有状态快照（如状态、缓冲和队列）写入持久化存储中。 3. 等待确认：一旦所有状态快照都写入持久化存储中，Flink 会暂停应用程序，等待外部系统确认检查点已成功完成。 4. 完成检查点：一旦外部系统确认检查点已成功完成，Flink 将检查点标记为已完成，并继续运行应用程序。 5. 恢复状态：如果应用程序发生故障，则可以使用最近的已完成检查点来恢复应用程序的状态。在恢复期间，Flink 将重新加载最近的已完成检查点，并从该点开始重新处理数据。 需要注意的是，Flink Checkpoint 流程中的每个步骤都需要耗费一定的时间。因此，在配置检查点时，需要平衡检查点频率和性能开销，以确保应用程序的高可用性和高性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值