flink 两阶段提交协议 2pc

最新推荐文章于 2024-04-19 10:16:22 发布
最新推荐文章于 2024-04-19 10:16:22 发布
阅读量701 收藏 1
点赞数 1
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wppwpp1/article/details/112045039
版权
本文探讨了两阶段提交协议在分布式系统中的应用，特别关注Kafka与MySQL如何配合实现数据一致性。Kafka支持数据回溯和幂等性，而MySQL通过事务处理确保精确性。博客还分享了MySQL相关代码实例，展示了在实际项目中的实现细节。
摘要由CSDN通过智能技术生成

1、pre-commit阶段：当checkpoint barrier在所有operator都传递了一遍且对应的快照也都成功完成之后，这个pre-commit阶段才算完成。该过程中所有创建的快照都被视为是checkpoint的一部分。此时我们说checkpoint就是整个应用的全局状态，当然也包含pre-commit阶段提交的外部状态。当出现崩溃时，我们可以回滚状态到最新已成功完成快照时的时间点。整个过程为预提交阶段

2、commit阶段：下一步就是通知所有的operator，告诉它们checkpoint已成功完成。这便是两阶段提交协议的第二个阶段：commit阶段。该阶段中JobManager会为应用中每个operator发起checkpoint已完成的回调逻辑。

3、两阶段提交，最核心是要上下游都要支持事务，否则消费的数据不能重新消费或者写入的数据不能撤回。比如上游kafka天然支持重新读取数据，下游kafka开启幂和事务保证数据不重复 等操作。因为redis不支持写入事务，所以不能保证精准一次

4、mysql相关的两阶段提交代码 https://blog.51cto.com/simplelife/2401521

 

https://www.dazhuanlan.com/2020/03/23/5e788dc5c786c/?__cf_chl_jschl_tk__=7a0d8a8dbfa3f226d3643928fa62d00c681a59ec-1609407060-0-AfVEiXUt4YDdYSIdJM24zkngKlzJTpYDBlYpV2qU9GA4_RXnzYnDdP9zvw5dP95_UmJvA_8ovIrH7DkmuXSzz2hgvIsOFlQu7GnapIrEhPtaLSWf4ALrZh3T_3ZvgwRuM1xeuAV-1mPBEnVHqEUFp5l3D0kb-LjcjuA55ZxkQ-dstLQumKPNscUDxa9tSyMkUGHfCpt1Q3rTkrKymUxrPvciv7KgddCO3SvdfrHfnmcfkwmCpWvzsOQ5NNLdvEBSsYXYFsTYkj88_d8UuuuhXqqT-yqge7Bh-0eihytokwS8Wu2WDkICpaDnnQvbgnVJ0Ro88aGPQN7gcNYEWPtypGc

wppwpp1
关注
专栏目录
Flink 两阶段提交（Two-Phase Commit）协议
JustinMars的博客
08-08 2227
flink两阶段提交
Flink两阶段提交协议 + Kakfa事务 保证端到端唯一 /TwoPhaseCommitSinkFunction / Kafka的幂等性和事务
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-22 4678
文章目录 Flink两阶段提交 1.EXACTLY_ONCE语义 2.Kafka的幂等性和事务 2.1 幂等性 2.2 事务 3.两阶段提交协议 4.TwoPhaseCommitSinkFunction 参考文献 Flink两阶段提交 1.EXACTLY_ONCE语义 EXACTLY_ONCE语义简称EOS，指的是每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部.
Flink两阶段提交
热门推荐
lisenyeahyeah的博客
05-17 1万+
文章目录两阶段提交 两阶段提交 何为EXACTLY_ONCE？ EXACTLY_ONCE简称EOS，每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部来说的，对于外部系统(端到端)则有比较强的限制 1.外部系统写入支持幂等性 2.外部系统支持以事务的方式写入 什么是两阶段提交？预提交+实际提交 flink里将两阶...
Flink二阶段提交
liuwei0376的专栏
08-10 4174
XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resource Manager，参与者）之间的接口。其中，资源管理器往往由数据库实现，如Oracle、DB2、MySQL，这些商业数据库都实现了XA 接口，而事务管理器作为全局的调度者，负责各个本地资源的提交和回滚。....
Flink两阶段提交Mysql（连接池生产稳定运行版本）
qq_43403113的博客
04-19 1929
flink两阶段提交实战
flink checkpoint 两阶段提交协议详解
最新发布
涛声依旧, 万古流名
04-19 1493
精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。
flink二阶段提交mysql_Flink 之 MySQL二阶提交
weixin_33670167的博客
01-20 430
本文开头附：Flink 学习路线系列 ^ _ ^1.2PC简介两阶段提交(two-phase commit, 2PC)是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者(coordinator)，被中心节点调度的其他业务节点叫做参与者(participant)。2PC。顾名...
flink两阶段提交
07-27
通过使用两阶段提交协议，Flink能够实现对外部Kafka Sink的EXACTLY_ONCE语义。这在Flink 1.4.0版本中引入了TwoPhaseCommitSinkFunction接口，并在Kafka Producer的connector中实现了它。\[3\]同时，Kafka的幂等性和...
Flink 之 mysql二阶段提交简述
weixin_43947279的博客
11-23 1410
1. 2PC简介 两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）。 2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别为提交请求（投票）和提交（执行）。协调者根据参与者的响应来决定是否需要真正地执行事务，具体流程如下。
flink（八）两阶段提交（备份别人的）
李玉志的博客
12-23 1337
两阶段提交 在Flink的两阶段提交中，JobManager充当协调者，TaskManager中的Source、Operator、Sink充当参与者，他们之间的通信有Checkpoint触发，其中barrier是核心中的核心。两阶段提交是实现精确一次性语义的核心原理。其核心原理就是在Barrier对齐的情况下所有的算子都成功的完成了Checkpoint，就完成了真正的两阶段提交。 JobManager向Source发送Barrier，开始进入pre-Commit阶段，当只有内部状态时，pre-commit
Flink-MysqlTwoPhaseCommit.zip
02-27
Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。
flink的事务之两阶段提交
weixin_40809627的博客
04-14 3890
场景描述：两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。本文来介绍它的相关细节以及它在Flink中的典型应用场景。。
两阶段提交(2PC)及其在Flink Exactly-once中的应用
微信搜：import_bigdata，大数据领域硬核原创作者
09-28 797
来源:jianshu.com/p/02d6d1103746作者:LittleMagic大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走...
Flink——Flink CheckPoint之两阶段提交协议（Two-Phase Commit Protocol）
aof
03-29 5355
参考 https://courses.cs.vt.edu/the-two-phase-commit-protocol https://www.geeksforgeeks.org/two-phase-commit-protocol-distributed-transaction-management/
Flink 之 MySQL二阶提交
扛麻袋的少年的博客
02-27 5486
Flink学习笔记(二十九)：两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。 在文章：自定义Redis Sink 中，我们有介绍过 Redis 的容错机制是 At Least Once，我们通过幂等操作，使用新数据...
Flink二阶段提交方式写入MySQL
淡定一生2333的博客
06-25 2540
项目中需要使用Flink消费Kafka中的数据，然后使用二阶段提交的方式写入到MySQL里面。网上找到了一大堆相关的例子，但是没有一个是靠谱的，全TM是复制粘贴而且还是不能用的那种! 开发+调试，浪费了我好几天的时间，哎，其实也是自己太菜了。所以本文就是解析下Flink二阶段提交的源码，然后给出自己的二阶段提交的实现。如果文章中有错误，非常欢迎大家的指正，多多交流！ 网上找到的Flink二阶段方式写入MySQL的代码： 完整代码我就不贴全了，反正都是差不多类似如下的代码： packa...
flink二阶段提交mysql_两阶段提交（2PC）与其在Flink exactly once中的应用
weixin_32823555的博客
01-20 514
前言简书快正式从小黑屋里出来了，所以是时候重启更新了。这段时间积攒了不少要写的东西，逐个击破吧。两阶段提交(two-phase commit, 2PC)是最基础的分布式一致性协议，应用广泛。本文来介绍它的相关细节以及它在Flink中的典型应用场景。2PC简介先介绍两个前置概念。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中...
Flink-两阶段提交（two-phase-commit，2PC）
qq_40382400的博客
07-03 1024
当中间发生故障时，当前未提交的事务就会回滚，于是所有写入外部系统的数据也就实现了撤回。这种两阶段提交（2PC）的方式充分利用了Flink现有的检查点机制：分界线的到来，就标志着开始一个新事务；所以2PC协议不仅真正意义上实现了exactly-once，而且通过搭载Flink的检查点机制来实现事务，只给系统增加了很少的开销。Flink提供了TwoPhaseCommitSinkFunction接口，方便我们自定义实现两阶段提交的SinkFunction的实现，提供了真正端到端的exactly-once保证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值