flink检查点算法的总结（粗略）

最新推荐文章于 2024-07-11 09:55:10 发布
最新推荐文章于 2024-07-11 09:55:10 发布
阅读量134 收藏
点赞数
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lib_24/article/details/134449295
版权

1.Barrier对齐： 一个task 收到 所有上游的 同一个编号的Barrier之后，才会对自己的状态做 备份

        精准一次：在对齐过程中Barrier后面的数据阻塞等待（不会越过Barrier）

        至少一次：在对齐过程中Barrier后面的数据不阻塞直接越过Barrier进行计算

2.非Barrier对齐：一个task 收到 第一个Barrier时，就开始执行 备份，能保证精准一次

        flink1.11出的新算法

        先到的Barrier，将本地状态 备份，其后面的数据接着计算输出

        未到的Barrier，其前面的数据接着计算输出，同时 也保存到 备份中

        最后一个Barrier到达该task时，这个task的备份结束

bigdataing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Flink非对齐检查点解析
TpcServer的博客
09-16 399
它的核心思想是，在进行检查点操作时，Flink会协调所有任务（task）的执行，确保它们在同一个时间点上同时进行检查点操作。然而，非对齐检查点的缺点是可能会引入一定的一致性窗口（Consistency Window），即在某个时间点上的检查点只能保证部分任务的状态一致，而不是全部任务。Flink非对齐检查点是一种提高系统吞吐量的机制，它允许任务在不同的时间点上进行检查点操作，减少了任务等待时间。需要注意的是，在使用非对齐检查点时，由于任务之间的检查点操作可能存在时间差，因此在一致性方面可能会有一定的损失。
从盘古开天辟地说起为什么 Flink CP 能实现精确一次？（下）
qq_34608620的博客
02-22 991
为什么我要把这段话放在最前面呢？因为博主有了大发现，博主在总结学习的过程中，总结了除了 Flink CP、Chandy-Lamport 全局一致性快照算法之外的一种 通用全局一致性快照算法！！！。 这套 通用算法 包含 Chandy-Lamport 算法 ≈ Flink 非对齐 CP 算法 包含 Flink 对齐 CP 算法。 可能这一套 通用算法 之前已经有人提过了，但是博主是自己在总结 Flink CP、Chandy-Lamport 算法的过程中，逆推总结出来的，并没有借助外力！！！ 1.前言 对于很多
Flink新特性之非对齐检查点(unaligned checkpoint)详细解析
微信搜：import_bigdata，大数据领域硬核原创作者
04-19 335
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。作为 Flink 最基础也是最关键的容错机制，Checkpoint 快照机制很好地保证了 Flink 应用从异常状态恢复后的数据准确性。同时 Checkpoint 相关的 metrics 也是诊断 Fli...
flink学习-容错机制
taotaobujuerulv的博客
06-13 452
在flink中最重要的容错机制，就是checkpoint机制，使用checkpoint可以将之前某个时间点的所有的状态进行保存，这个存档就是checkpoint。
flink-对齐和不对齐，精准一次和至少一次
qq_40382400的博客
08-12 1503
精准一次怎么保证？可以设置为以下2个 对齐 当有一个barrier比较快时，输入缓冲区阻塞，当另外一个barrier到来时，才进行备份，所以数据不会重复。 优点：不会造成数据重复 缺点：会造成数据积压，OOM 不对齐 当有一个barrier到来时，直接将barrier置到最后，然后将所有缓冲区的数据和状态进行备份，然后将kafka提交，然后将慢的barrier也置到最后，将所有缓冲区的数据和状态进行备份，然后将kafka提交。 优点：加快了ck 缺点：由于备份了大
Flink容错机制
m0_57697768的博客
06-18 1281
Flink数据传输状态一致性，Checkpoint的设置，数据容错机制
Flink 的 Checkpoint配置详解
猫猫爱吃小鱼粮
09-18 1791
Flink 的 Checkpoint 配置详解
flink面试题
xing_S的博客
02-06 330
flink面试题
Flink中Barrier对齐机制
qq_42009405的博客
02-10 7300
Barrier对齐机制以及Unaligned Checkpoints详解
Flink知识点总结文档
03-14
Flink的世界观是数据流对 Flink ⽽⾔，其所要处理的主要场景就是流数据，批数据只是流数据的⼀个极限特例⽽已，所以 Flink也是⼀款真正的流批统⼀的计算引擎。自 2019 年 1 月起，阿里巴巴逐步将内部维护的 Blink ...
Flink知识点总结xmind
11-25
Flink知识点总结xmind
Flink知识点面试点大全总结.docx
09-01
Flink 知识点面试点大全总结 Flink 是一个以流为核心的高可用、高性能的分布式计算引擎，具备流批一体、高吞吐、低延迟、容错能力、大规模复杂计算等特点，在数据流上提供数据分发、通信等功能。 一、Flink 的基本...
大数据 flink 思维导图 知识点
09-21
Apache Flink是一个分布式流处理引擎，提供了直观而富有表现力的api，以此来实现有状态的流处理应用程序。它以一种容错的方式有效地在大规模集群上运行这样的应用程序。...在本文件中详细介绍flink知识点。
Flink状态管理与检查点机制.md
08-07
Flink状态管理与检查点机制，进阶篇
【Flink】【第9章】【 状态管理和容错机制】【02】CheckPoint和 状态后端
weixin_43589563的博客
03-08 2225
状态管理状态后端1.状态的存储1.MemoryStateBackend2.FsStateBackend3.RocksDBBackend4.配置方式4.1 全局配置4.2 单任务配置2.状态的备份（checkpoint 和 savepoint）4.3 状态一致性4.3.1 flink状态的一致性级别4.3.2 端到端（end-to-end）状态一致性**1.Sink端幂等写入****2.Sink端事务写入**2.1 预写日志2.2 两阶段提交5.Flink + Kafka实现端到端的一致性 状态后端 1.状态
Flink-关于barrier对齐/不对齐，及实现
weixin_36857135的博客
09-06 2656
Flink1.11版本提供不对齐的检查点保存方式，可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐，而是可以直接启动状态的保存。Flink默认是禁用检查点的，如果需要开启自动保存快照的功能，需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒。：等到上游所有的并行子分区barrier都到齐，才去保存当前任务的状态。缺点：先到达的分区要做缓存等待，会造成数据数据堆积（背压）缺点：每个检查点较对齐方式需要保存更多信息，即未处理的数据。
Flink之轻量级分布式快照Checkpoint
lixinkuan的博客
02-03 1319
一、flink中checkpoint执行流程 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport algorithm”算法。 (分布式快照算) 每个需要checkpoin...
65、Flink 的 DataStream Connectors 概述
最新发布
猫猫爱吃小鱼粮
07-11 582
Flink 的 DataStream Connectors 概述
flink 配置表
mqiqe的专栏
07-11 511
虽然 Flink 本身没有一个名为“配置表”的明确术语，但配置文件 flink-conf.yaml 和其他相关配置文件可以视为 Flink 的配置表，它们包含了 Flink 集群和作业运行所需的各种配置项。这些配置项涵盖了从主机和端口设置到内存管理、并行度调整、状态后端和检查点配置等多个方面。
flink检查点算法
07-27
Flink的检查点算法是用于实现容错机制的关键部分。Flink使用了一种称为"异步增量检查点"的算法，该算法在保证数据一致性的同时，尽量减少对流处理的影响。 具体来说，Flink的检查点算法会定期生成检查点，以保存...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bigdataing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值