flink实战--如何自定义具有Exactly-Once语义的sink（TwoPhaseCommitSinkFunction）

最新推荐文章于 2024-12-09 09:29:20 发布
最新推荐文章于 2024-12-09 09:29:20 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： Flink学习必读系列 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/105528406
版权
本文深入探讨了Flink如何实现Exactly-Once语义，主要介绍两阶段提交（TwoPhaseCommitSinkFunction）的原理和流程。内容包括预提交阶段、提交事务、预提交结束后的checkpoint回调以及数据源和数据输出端的角色。通过自定义mysqlSink的案例，展示了如何在Flink中实现Exactly-Once语义。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Exactly-Once 语义

           exactly-once语义指的是每个输入的事件只影响最终结果一次。即使机器或软件出现故障，既没有重复数据，也不会丢数据。分布式系统都是关于取舍平衡，基本上存在三种类型的传递语义：最多一次at-most-once，至少一次at-least-once和正好一次exactly-once。其中正好一次exactly-once实现最为困难，本篇文章详细介绍一下flink如何实现exactly-once语义。

Flink一次性语义实现原理

           说到flink的Exactly-Once，要区分实现的范围。在 Flink 1.4.0 之前，Exactly-Once 语义仅限于 Flink 应用程序内部，并没有扩展到 Flink 数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink Exactly-Once 投递实现浅析 一致性
九师兄
10-05 948
随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计算/消息队列）都宣称支持 exactly-once，exactly-once 投递似乎是一个已被解决的问题，但是其实它们更多是针对内部模块之间的信息投递，比如 Kafka 生产（produc...
Flink Exactly-once实现原理解析
微信搜：import_bigdata，大数据领域硬核原创作者
01-17 902
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。 《2021年最新版大数据面试题全面开启更新》 Flink Exactly-once实现原理解析 Flink的“精准一次”处理语意是，Flink提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用生产的效果只有一次，不会多也不会少。 Flink是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式计算系统都会为用户提供数据处理的可靠模式功能，用来表明在
flink二阶段提交mysql_flink-----实时项目---day07-----1.Flink的checkpoint原理分析 2. 自定义两阶段提交sink（MySQL） 3 将数据写入Hba...
weixin_32968105的博客
01-20 609
1.Flink中exactly once实现原理分析生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once。目前flink中支持exactly once的source不多，有kafka source；能实现exactly once的sink也不多，如kafka sink、streamingFileSink，其都要开启checkpoint才能实现exactly on...
FlinkKafkaProducer两阶段提交-TwoPhaseCommitSinkFunction过程简述
m0_47444428的博客
01-20 1190
两阶段提交 1 FlinkKafkaProducer继承了TwoPhaseCommitSinkFunction 类 2 TwoPhaseCommitSinkFunction类继承了RichSinkFunction类且实现了CheckPointedFunction接口以及CheckPointListener接口 3 FlinkKafkaProducer重写了TwoPhaseCommitSinkFunction类...
Flink的Exactly Once语义到底是什么意思？和去重有没有关系？
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
12-09 1864
Flink的Exactly Once语义到底是什么意思？和去重有没有关系？今天更新一个提高班同学面试中的问题。这个问题是关于Flink的Exactly Once语义的。这个问题的背景是，之前大数据提高班的同学在实际工作中在精确一次场景中错误的理解了Flink的Exactly-Once语义，一直使用至今。在面试中被面试官抓住这个问题一顿毒打，最终面试失败告终。今天就是简单回答一下这个问题。首先，我们...
flink的TwoPhaseCommitSinkFunction怎么做才能提供精准一次保证
lixia0417mul2的博客
10-22 1140
TwoPhaseCommitSink如何做到精准一次输出
Flink使用指南：TwoPhaseCommitSinkFunction实现二阶段提交保证数据一致性
徐腾瑞的博客
08-18 4732
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 1. 原理思想 Flink自带的TwoPhaseCommitSinkFunction可以实现2pc提交方式保证数据一致性，我们先来看下实现这个类的方法： 2pc提...
Exactly-once 只有一次的两个阶段提交 （Exactly-once two-phase commit）
weixin_52346735的博客
03-12 257
Data Source 会先从 kafka 里面读取数据 JobManger 会向 Data Source 中 发起 Checkpoint 指令并同时向 S ource 发送 barrier （检查点分界线）， 如果这个Source 有多个并行，那么每个Source 都会有一个 barrier 这个 barrier 会把 Data Source 中的状态保存起来持久化到 State Backend 中 ， 然后 barrier 会向下个算子Window 中传递，然后我们假如会在 Window ...
Flink生产---14Exactly-once 实现原理解析
weixin_42642502的博客
06-06 1448
Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理引擎通常为用户的应用程序提供三种数据处理语义：最多一次、至少一次和精确一次。 1最多一次（At-most-Once）：这种语义理解起来很简单，用户的数据只会被处理一次，不管
Flink 数据保存 Redis(自定义Redis Sink ) 实现exactly-once
weixin_43947279的博客
11-23 1782
通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 redis.host=192.168.204.210 redis.port=6379 redis.password=123456 redis.timeout=5000 redis.db=0 1.2 FlinkUtils工具类 package c
flink实战--flink整合kafka (kafka source 与 kafka sink)
热门推荐
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
Flink-MysqlTwoPhaseCommit.zip
02-27
Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。
Flink笔记(二十三)：Flink 整合 Kafka (实现 Exactly-Once)
01-07
Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。 1.什么是Exactly-Once        恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都一样。即使在发现机器或者软件故障时，都不会出现数据丢失以及重复处理的情况。（就是每条数据只会被处理一次）        Flink 中哪些 Source 、Sink支持 Exactly-Once 呢，Flink官方文档(链接)为我们做了描述。如下图所示： Source： Sink：        我们发现很多都是 a
flink数据sink入mysql（exactly-once）
weixin_44990574的博客
08-11 4118
flink消费数据sink入mysql，exactly-once事务模式
Flink状态一致性之exactly-once
LSur_king的博客
04-05 1470
幂等写入： 一个操作重复执行很多次，但只导致一次结果的更改，也就是说后面重复执行就不起作用了。eg: pow(e,x)求多阶导还等于自己，HashMap，多次写入key相同的键值对等。 但需要注意的是，也会出现中间状态短暂的不一致，最终结果一致的情景。eg：flink的checkpoint还有流批结合做关联模型转换的ETL，这些不满足强一致性，但可实现最终一致性。 事务写入： 构建的事务对应着checkpoint，等到checkpoint真正完成的时候，才把所有对应的结果写入sink系统...
Flink进阶（四）：Flink中的Exactly Once
weixin_42155491的博客
04-05 829
Flink内部Exactly Once 通过checkpoint和状态来保证 checkpoint流程： Flink在数据流中加入了一个叫barrier的东西（中文名栅栏），barrier在SourceTask处生成，一致到SinkTask，期间所有的Task只要碰到barrier就会触发自身进行快照。barrier的作用就是为了把数据区分开，barrier之前的数据是本次checkpoint之前...
Flink-JdbcSink
qq_40382400的博客
06-29 887
【代码】Flink-JdbcSink。
Flink 实现端到端的exactly-once
weixin_42051673的博客
09-24 522
在流处理中，一致性可以分为三个级别： 1）at-most-once：最多一次，实际上就是对 不处理错误的委婉说法 2）at-least-once：最少一次，这是最简单的处理错误的方法，当出现错误时，重发。最终结果可能会大于准确值，但绝不会小于准确值 3）exactly-once：精确一次，这指的是系统发生错误时，也会得到准确的结果 当spark-streaming实现exactly-once时，付出了性能代价。而flink在框架内部即保证了exactly-once，且不会牺牲很大的性能。 之前我们
Flink1.12-End-to-End Exactly-Once一次性语义
weixin_48143996的博客
07-02 620
流处理引擎通常为应用程序提供了三种数据处理语义：最多一次、至少一次和精确一次。 如下是对这些不同处理语义的宽松定义(一致性由弱到强)： At most noce < At least once < Exactly once < End to End Exactly once At-most-once-最多一次 有可能会有数据丢失 这本质上是简单的恢复方式，也就是直接从失败处的下个数据开始恢复程序，之前的失败数据处理就不管了。可以保证数据或事件最多由应用程序中的所有算子处理一次。这意味着如果
Flink深度指南：配置、原理与实战应用
6. **有状态的流处理**：解释了checkpoint机制如何确保exactly-once语义，以及保存点用于状态版本控制的作用。 7. **批处理操作**：介绍Flink在批处理任务上的处理能力，包括任务与运算链、JobManager、TaskManager...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值