Chandy-Lamport算法 Barrier的传递

最新推荐文章于 2022-05-19 20:46:03 发布
最新推荐文章于 2022-05-19 20:46:03 发布
阅读量297 收藏
点赞数
文章标签： hdfs hadoop 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wai0210/article/details/124718193
版权
本文深入探讨了Apache Flink的Checkpoint协调器如何工作，详细阐述了从SourceTask触发Checkpoint，到SinkTask确认完成的全过程，包括源节点的状态保存、barrier的传播以及任务状态在HDFS中的持久化。理解这一机制对于优化Flink作业的容错性和稳定性至关重要。
摘要由CSDN通过智能技术生成

JM中的CheckpointCoordinator协调器会向所有的source节点 触发一个Checkpoint
然后SourceTask 会在数据流中安插CheckPoint barrier 
source收到barrier后 会把source中的状态保存到hdfs(持久化存储) 然后barrier向下游传递
下游的Task(任何一个算子)只要收到barrier 会把自己的状态保存到hdfs(持久化存储)
当task完成Checkpoint后会通知协调器 并且把Checkpoint地址交给协调器 
谁收到barrier 就把自己状态存储到hdfs  
在flink里面 最后一个算子是Sink
协调器收集齐所有task的stage handle之后 
传递到sink时 就认为这一次的全局Checkpoint完成了 向hdfs中再备份一个 checkpoint meta文件 继续下一次barrier

Wai0210
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据_Flink_Java版_容错机制(3)-检查点算法思路和Barrier---Flink工作笔记0072
添柴程序猿的专栏
03-28 326
然后我们再来细看一下: flink是怎么实现,检查点的保存的呢? 我们有两种方式,第一种简单的方式,我要想保存一个检查点的时候,我等某个数据处理完,然后 把这个处理完的数据保存成一个检查点,这个数据处理的时候,我要暂停其他的所有的应用,等待 这个数据处理完,这个方式,可以看到简单,但是效率很低. 在flink中有一种,可以看到叫做基于Chandy-Lamport算法的,分布式快照,这个就可以 让taskmanager不停止工作的同时来保存检查点.并且可以保证一致性. 我们看一下...
数字集成电路设计-16-关于AXI协议
Rill的专栏
03-12 1万+
引言AXI协议有可能是我们平时电路设计时经常遇到的一个协议，也是一个不错的协议，本小节我们就来熟悉一下。乍一看，AXI协议的信号众多，眼花缭乱，容易发蒙。但其实其基本思想很简单。只要掌握以下几点：1，valid/ready协议axi协议是典型的基于valid/ready协议的总线协议。valid/ready协议的优势就是master和slave的相对独立性比较好。对于一次传输，作为master的发
深入理解Flink ---- 系统内部消息传递的exactly once语义
weixin_30622107的博客
05-10 145
At Most once,At Least once和Exactly once 在分布式系统中，组成系统的各个计算机是独立的。这些计算机有可能fail。 一个sender发送一条message到receiver。根据receiver出现fail时sender如何处理fail，可以将message delivery分为三种语义: At Most once: 对于一条message,rec...
Barrier
fivedoumi的专栏
12-19 1363
Barrier是类似于信号量和条件变量的概念，用于控制并行程序的执行。一个Barrier通常用来确保某些并行算法中的所有合作线程可以继续运行之前到达算法中的一个特定点。Barrier可以借助条件变量实现。 Barrier能够保证一组线程在全部到达这个barrier之前，组内任何一个线程都不能逾越barrier去继续执行下面的代码。 在Barrier最简单语义实现中，通常调用函数barrier_
Memory barrier（内存屏障）
yangjinkui的博客
08-03 664
理解 Memory barrier（内存屏障） 发布于 2014 年 04 月 21 日2014 年 05 月 15 日 作者 name5566 参考文献列表： http://en.wikipedia.org/wiki/Memory_barrier http://en.wikipedia.org/wiki/Out-of-order_execution https://www.kernel.
Flink-容错机制 | 一致性检查点 | 检查点到恢复状态过程 | Flink检查点算法(Chandy-Lamport) | 算法操作解析 | 保存点简介
SmallScorpion
05-29 1947
一致性检查点（Checkpoints） Flink 故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候(如5这个数据虽然进了奇数流但是偶数流也应该做快照，因为属于同一个相同数据，只是没有被他处理) 在JobManager中也有个Chechpoint的指针，指向了仓库的状态快照的一个拓扑图，为以后的数据故障恢复做准备 从检查点恢复状态 在执行流应
Chandy-Lamport分布式快照学习记录和Flink与实现分布式快照的机制
小凯的博客
11-13 774
Snapshot Algorithm 分布式快照算法是拿来干嘛的？ 在缺乏全局时钟或者全局时钟不可靠的分布式系统确定全局状态 A snapshot algorithm is used to create a consistent snapshot of the global state of a distributed system. Due to the lack of globally sh...
flink笔记
xiexie1357的专栏
01-25 181
flink简介 Flink是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams。 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数 据流进行状态计算。 Flink主要特点 支持高吞吐，低延迟，高性能的流处理； 支持带有事件窗口操作； 支持有状态计算的exactly-once
从盘古开天辟地说起为什么 Flink CP 能实现精确一次？（下）
qq_34608620的博客
02-22 1026
为什么我要把这段话放在最前面呢？因为博主有了大发现，博主在总结学习的过程中，总结了除了 Flink CP、Chandy-Lamport 全局一致性快照算法之外的一种 通用全局一致性快照算法！！！。 这套 通用算法 包含 Chandy-Lamport 算法 ≈ Flink 非对齐 CP 算法 包含 Flink 对齐 CP 算法。 可能这一套 通用算法 之前已经有人提过了，但是博主是自己在总结 Flink CP、Chandy-Lamport 算法的过程中，逆推总结出来的，并没有借助外力！！！ 1.前言 对于很多
ARM ACE协议学习（一）
热门推荐
崖野苦乐的博客
04-19 2万+
资料来源于ARM AXI4_specification ACE为AXI缓存扩展接口 ACE协议特点： 1、正确的跨缓存共享（CACHEs） 2、具有不同特征的器件交互 3、最大利用缓存数据 4、高性能低功耗之间的选择 ACE协议提供了系统级一致性框架，系统级设计包括 1、一致性存储范围 2、具有一致性扩展的存储系统器件 3、系统器件之间交互的软件模型 ACE协议实现通过 1、五个状态缓存模型，指明...
15分钟让你了解如何实现并发中的Barrier
weixin_30394669的博客
08-04 354
说到Barrier，很多语言中已经是标准库中自带的概念，一般情况下，只需要直接使用就行了。而最近一些机缘巧合的机会，我需要在c++中使用这么个玩意儿。但是c++标准库里还没有这个概念，只有boost里面有这样现成的东西，而我又不想为了这么一个小东西引入个boost。所以，我借着这个机会研究了下，发现其实这些多线程/并发中的东西还是蛮有意思的。 阅读本文你可能需要如下的一些知识： ...
disable_preempt
llettod的专栏
12-08 672
今天看内核发现disable_preempt这个函数，觉得挺有意思就看了下网上资料，以下我将之整理成了两个函数来加以理解。 一、barrier函数 内存屏障出现因为编译器或现在的处理器常会自作聪明地对指令序列进行一些处理，比如数据缓存，读写指令乱序执行等等。如果优化对象是普通内存，那么一般会提升性能而且不会产生逻辑错误。但如果对 I/O操作进行类似优化很可能造成致命错误。所以要使用内存屏障，以
中科大-凸优化 笔记（lec42）-log-barrier法
scu-liu的博客
03-02 1824
全部笔记的汇总贴（视频也有传送门）：中科大-凸优化 讨论几种典型的算法 无约束优化/有约束优化 所有优化算法都是迭代算法
Barrier 性能如何?
不积跬步，无以至千里；不积小流，无以成江海。
09-15 1655
在处理容器的多线程问题, 难免会用到加锁的方式来处理, iOS开发中, 锁有以下几种: (1) 自旋锁 OSSpinLock (2) 互斥锁 pthread_mutex, NSLock, @synchronized (3) 读写锁 pthread_rwlock (5) 递归锁 NSRecursiveLock, pthread_mutex(recursive) (6) 信号量 dispat...
凸优化学习-（二十七）有约束优化算法——牛顿法、log barrier
欢迎你
04-05 5961
凸优化学习 学习笔记 一、有约束凸问题分析 首先，介绍一下log barrier\text{log barrier}log barrier方法： min⁡f0(x)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p⇔min⁡f0(x)−∑i=1muilog⁡(−fi(x))   i=1⋯ms.t.hi(x)=0i=1⋯p \begin{ali...
理解 Memory barrier（内存屏障）
上善若水
01-21 1万+
转自：http://name5566.com/4535.html 参考文献列表： http://en.wikipedia.org/wiki/Memory_barrier http://en.wikipedia.org/wiki/Out-of-order_execution https://www.kernel.org/doc/Documentation/memory-barriers.
boost::barrier同步原理
不会？学啊！
11-04 3655
boost::barrier是多线程的同步点，构造函数会要求传递一个数字，表示需要同步多少个线程。只有指定个数的线程到达这个点之后，程序才会继续往下走，否则会阻塞。其实barrier的同步原理很简单。 要明白它的同步原理，我们首先来看barrier的源码： class barrier { static inline unsigned int check_counter(unsign
Barrier多计算机共享键鼠详细教程（可跨平台）+使用感受
分享实用的上网冲浪技巧
05-19 2万+
Barrier是一款免费开源工具，可以帮助我们实现在Windows、macOS和Linux之间共用同一套鼠标和键盘，不仅让你摆脱在不同键鼠间反复切换的烦恼，还能省下一笔外设钱。 本文以Windows系统为例，教程包含了以下三部分详细内容①Barrier的下载安装和设置、②Bonjour的下载和安装、③Openssl下载安装和配置。照着做一遍，你也可以学会如何用一套键鼠操控多台主机。 目前的使用感受是鼠标有明显延迟卡顿感，键盘的同步较为流畅，可以实现剪贴板的共享。
Flink分布式Checkpointing与Chandy-Lamport算法解析
在Chandy-Lamport模型中，系统被看作是由多个进程和通信通道组成的有向图，每个节点代表一个进程，边代表进程间的消息传递。 在Chandy-Lamport算法中，每个进程维护一个状态，当接收到特定的触发信号时，进程会冻结...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值