Flink 中如何保证 Exactly Once？（下）

最新推荐文章于 2024-06-12 11:38:18 发布
最新推荐文章于 2024-06-12 11:38:18 发布
阅读量139 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728660
版权
本文深入分析了 FlinkKafkaConsumer 的设计思想，包括 Kafka offset 存储、负载均衡以及如何在源端并行度改变时恢复 offset。Flink 通过将 offset 保存在 Operator State 中实现容错，使用 getUnionListState 策略确保并行度变化时恢复正确。同时，FlinkKafkaConsumer 支持动态发现新增的 Kafka partition 并进行消费，保证数据不丢失。
摘要由CSDN通过智能技术生成

分析 FlinkKafkaConsumer 的设计思想

FlinkKafkaConsumer 做为 Source，从 Kafka 读取数据到 Flink 中，首先想一下设计 FlinkKafkaConsumer，需要考虑哪些？

  • Flink 中 kafka 的 offset 保存在哪里，具体如何保存呢？任务重启恢复时，如何读取之前消费的 offset？
  • 如果 Source 端并行度改变了，如何来恢复 offset？
  • 如何保证每个 FlinkKafkaConsumer 实例消费的 partition 负载均衡？如何保证不出现有的实例消费 5 个 kafka partition，有的实例仅消费 1 个 kafka partition？
  • 当前消费的 topic 如果动态增加了 partition，Flink 如何实现自动发现并消费？

带着这些问题来看一看 FlinkKafkaConsumer 是怎么解决上述问题的。

Kafka offset 存储及如何实现 Consumer 实例消费 partition 的负载均衡

Flink 将任务恢复需要的信息都保存在状态中，当然 Kafka 的 offset 信息也保存在 Flink 的状态中，当任务从状态中恢复时会从状态中读取相应的 offset，并从 offset 位置开始消费。

在 Flink 中有两个基本的 S

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
专栏目录
订阅专栏
Flink笔记(二十三)：Flink 整合 Kafka (实现 Exactly-Once)
01-07
Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。... Flink 中哪些 Source 、Sink支持 Exactly-Once 呢，Flink官方文档(链接)为我们做了描述。如下图所示： Source： Sink：  我们发现很多都是 a
Flink实现Exactly Once
zwyoozwz的博客
07-29 2712
flink中的exactly once
Flink 六道必考面试题总结
.
08-05 3060
下游算子收到barrier之后，会暂停自己的数据处理过程，然后将自身的相关状态制作成快照，并保存到指定的持久化存储中，最后向CheckpointCoordinator报告自身快照情况，同时向自身所有下游算子广播该barrier，恢复数据处理。比如现在开了一个5秒的窗口，但是2秒的数据在5秒数据之后到来，那么5秒的数据来了，是否要关闭窗口呢？可想而知，关了的话，2秒的数据就丢失了，如果不关的话，我们应该等多久呢？，简单来说，就是数据来了之后就开启一个会话窗口，如果接下来还有数据陆续到来，那么就一直保持会话；
Flink是如何实现Exactly Once
地球人是我哈的博客
03-30 2388
Flink是如何实现Exactly Once ? 在了解Exactly Once 之前，首先得先知道Flink内部的Checkpoint 是干啥的？ 1. CheckPoint 简介 Flink Checkpoint机制的存在，是为了解决Flink任务在运行的过程中，由于各种问题导致任务异常中断后，能正常恢复。我们看看在Checkpoint 的过程中，到底做了哪些事？ Checkpoint 是通过快照的方式，将程序在某个时刻的状态，通过快照保存下来，当程序发送错误时，默认去最近一次保存的快照中恢复。（快照暂
Flink如何保证Exactly-once语义
weixin_59295776的博客
09-07 56
开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面。若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟。Flink通过实现两阶段提交和状态保存来实现端到端的一致性语义。预提交（preCommit）将内存中缓存的数据写入文件并关闭。中止（abort）如果回滚，删除临时文件。
Flink是如何实现Exactly-once
默硕的博客
04-10 185
在flink1.4.0之前，flink通过checkpoint保证了flink应用内部的exactly-once语义。如果flink应用失败或者升级时，可以拉取checkpoint中的状态来恢复上次失败时的数据。两次提交来保证语义的方式需要flink所连接的外部系统支持两部提交，也就是外部系统要支持可以预提交和回滚没有最终提交的数据这样子的特性。可以根据状态来提交预提交的数据，也可删除预提交的数据。exactly-once语义就是保证最后的数据处理的结果和数据摄入时没有数据的丢失与重复。
flink中文教程.zip
03-02
- **状态管理**：Flink允许应用程序维护状态，并在容错机制下保证状态的一致性。 - **时间窗口**：Flink提供了基于时间的滑动窗口和会话窗口，用于处理实时流数据。 - **DataStream API** 和 **DataSet API**：...
什么是flink？怎么部署.pdf
04-11
Flink 不仅支持事件时间处理，还支持“精确一次”（exactly-once）的状态一致性，确保数据处理的准确性和一致性。 #### Flink 的关键特点 1. **批流一体化**：Flink 支持同时处理批处理和流处理任务，能够无缝地在...
Flink1.11中文文档.pdf
01-22
- **确保精确一次（exactly once）**：讨论了如何确保数据处理的精确一次语义。 - **端到端精确一次**：探讨了如何在整个数据处理链路上实现精确一次语义。 #### 十二、高级特性 - **BroadcastState 模式**：介绍了...
Flink 1.11最新版 中文文档
07-27
Apache Flink 是一个开源的流处理框架，专注于实时数据处理和批处理，具有低延迟、高吞吐量以及精确一次（Exactly-once）语义的特点。在Flink 1.11版本中，它继续优化了性能，增强了功能，并提供了丰富的API和工具，...
详解flink exactly-once和两阶段提交
weixin_51981189的博客
01-09 1232
Source 端的精准一次处理比较简单，毕竟数据是落到 Flink 中，所以 Flink 只需要保存消费数据的偏移量即可， 如消费 Kafka 中的数据，Flink 将 Kafka Consumer 作为 Source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性。在 Flink 1.4 版本之前，精准一次处理只限于 Flink 应用内，也就是所有的 Operator 完全由 Flink 状态保存并管理的才能实现精确一次处理。
Apache Flink 如何保证 Exactly-Once 语义
最新发布
06-12 1029
Apache Flink 通过状态一致性检查点和 Two-Phase Commit 协议来确保 Exactly-Once 语义。这些机制确保了数据在分布式系统中的一致性和准确性，从而提高了大数据处理的可靠性和准确性。在实际应用中，我们可以根据具体需求配置 Flink 的检查点策略和外部存储系统的写入策略，以实现更好的性能和可靠性。
Flink是如何保证Exactly-once语义的？
mischen520的博客
07-11 593
Flink通过实现两阶段提交和状态保存来实现端到端的一致性语义。分为以下几个步骤： 开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面 预提交（preCommit）将内存中缓存的数据写入文件并关闭 正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟 丢弃（abort）丢弃临时文件 若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。 ...
【大数据】flink保证Exactly_Once的理解
Chenftli的博客
04-03 4014
满足三点，可以保证端到端的Exactly_Once 1.开启checkpoint 2.source支持数据重发 3.sink端幂等性写入、事务性写入。我们常使用事务性写入 sink 事务性写入分为两种方式 1、WAL（预写日志的方式）：先将数据当作状态保存，当收到checkpoint完成通知后，一次性sink到下游系统 2、2pc（两阶段提交）：大致的实现的过程就是： * 开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面。 * 预提交（preCommit）将内存
【Flink实战系列】Flink 是如何实现 exactly-once 语义的
JasonLee实时计算
01-12 9575
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置(即是偏移量),并保存offest,这时offest也可以理解为是一种状态. Flink是怎么保证...
Flink Exactly-Once 投递实现浅析
公众号[大数据技术与应用实战]，分享大数据实战案例
02-18 1953
  转载自：http://www.whitewood.me/2018/10/16/Flink-Exactly-Once-%E6%8A%95%E9%80%92%E5%AE%9E%E7%8E%B0%E6%B5%85%E6%9E%90/ 随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once ...
Flink 中如何保证 Exactly Once？
http://www.54tianzhisheng.cn/
09-22 371
在分布式场景下，我们的应用程序随时可能出现任何形式的故障，例如：机器硬件故障、程序 OOM 等。当应用程序出现故障时，Flink 为了保证数据消费的 Exactly Once，需要有相应的故障容错能力。Flink 是通过周期性 Checkpoint 的方式来实现故障容错，这里使用的是基于 Chandy-Lamport 改进的算法。本节会介绍 Flink 内部如何保证 Exactly Once 以及...
Flink 是如何保证 Exactly-once语义的？
857技术社区
06-01 1200
Flink 通过实现两阶段提交和状态保存来实现端到端的一致性语义。 分为以下几个步骤： 开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面。 预提交（preCommit）将内存中缓存的数据写入文件并关闭。 正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟。 丢弃（abort）丢弃临时文件。 若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。 ...
大解密：Flink恰巧语义一次消费，怎么保证？
认知 行动 坚持
07-19 1665
我们都知道Flink在流式处理上性能强大，且很好地支持ExactlyOnce语义；且这也是Flink核心的技术点，所以成为面试官喜欢追问的一个话题：Flink恰巧语义一次消费，怎么保证？ 在这个思维导图进行了详细的描述及说明。欢迎阅读及下载超全干货--Flink思维导图，花了3周左右编写、校对。下载链接：Flink_思维导图（干货）.xmind.zip 上述思维导图中也进行了详细地描述：Flink_思维导图（干货）.xmind.zip截图如下： 如果面试官问到，可以大致从这些方面...
flink如何保证exactly-once
06-28
Flink 通过 checkpoint 机制来保证 exactly-once 语义。Checkpoint 是一种机制，用于在 Flink 作业执行期间定期保存作业状态的快照。当作业失败时，Flink 可以使用最近的 checkpoint 来恢复作业状态并继续处理数据。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值