两阶段提交实现分析

已于 2022-03-12 13:06:46 修改
阅读量575 收藏
点赞数
分类专栏： Flink系统性学习专栏 文章标签： 爬虫 面试 自然语言处理
于 2021-08-28 22:55:47 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/119974735
版权

《2021年最新版大数据面试题全面开启更新》

一、TwoPhaseCommitSinkFunction

TwoPhaseCommitSinkFunction是一个抽象类，继承RichSinkFunction，实现CheckpointedFunction与CheckpointListener接口。抽象出了以下四个方法：

1.beginTransaction， 开启一个事务，获得一个句柄
2.preCommit，执行预提交
3.commit ，执行提交
4.abort，放弃一个事务

使用这四个方法然后结合checkpoint 过程提供的hook，来实现两阶段提交过程，看下其具体调用流程：

a. initializeState 状态初始化方法，只会被调用一次，第一件事情是用来恢复上次checkpoint完成预提交的事务与下一次checkpoint开始的事务，对于上次checkpoint完成预提交说明该checkpoint已经完成，那么执行commit操作，下一次checkpoint开始的事务说明该checkpoint，那么执行abort操作，第二件事情是开启一个新的事务，给新的checkpoint使用；

b. snapshotState 与checkpoint同步周期性执行的方法，首先执行preCommit对本次checkpoint事务执行预提交操作，并且开启一个新的事务提供给下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
分布式事务的七种实现方案汇总分析
01-27
阅读本文之前，需要你对数据库事务的ACID、CAP理论、Base理论以及两阶段提交有一定的认知，不熟悉者请自行百度或者阅读参考博客1、2、3和4。除此之外，在阅读本文过程中，如果对某种方案不理解，强烈建议先阅读对应...
Flink使用指南：TwoPhaseCommitSinkFunction实现二阶段提交保证数据一致性
徐腾瑞的博客
08-18 4248
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 1. 原理思想 Flink自带的TwoPhaseCommitSinkFunction可以实现2pc提交方式保证数据一致性，我们先来看下实现这个类的方法： 2pc提...
TwoPhaseCommitSinkFunction二阶段提交
qq_31866793的博客
11-23 2347
1，什么是二阶段提交？ TwoPhaseCommitSinkFunction Flink 已经为我们提供了实现 Exactly-Once 的 FlinkKafkaProducer 类。如下图所示：它实现了TwoPhaseCommitSinkFunction类，并重写了其中的方法，通过 2PC (Two Phase Comit) 二阶提交的方式，实现了 Exactly-Once。 使用关系型数据库 MySQL，开启 CheckPoint 机制的前提下，为了保证前一次 CheckPoint ...
分布式事务的具体实现：两阶段提交（2PC）
最新发布
qq_63728673的博客
04-15 1283
分布式事务“顾名思义，指的是涉及到多个分布式系统或者多个数据库的事务操作。在分布式系统中，如果一个事务涉及到多个独立的组件或者服务，每个组件或服务可能位于不同的物理节点上，那么这个事务就被称为分布式事务。在分布式系统中实现分布式事务是一个复杂的问题，因为涉及到多个独立的组件或者服务，可能存在网络延迟、通信故障、节点故障等因素。为了保证分布式事务的一致性和可靠性，需要使用合适的事务管理协议和机制，如两阶段提交（2PC）、三阶段提交（3PC）、基于消息的事务、分布式事务管理器等。
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
chbxw
07-17 1510
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
flink的TwoPhaseCommitSinkFunction怎么做才能提供精准一次保证
lixia0417mul2的博客
10-22 993
TwoPhaseCommitSink如何做到精准一次输出
flink实战--如何自定义具有Exactly-Once语义的sink（TwoPhaseCommitSinkFunction）
阿华田的博客
04-21 2317
Exactly-Once 语义 指的是每个输入的事件只影响最终结果一次。即使机器或软件出现故障，既没有重复数据，也不会丢数据。 Flink一次性语义实现原理 说到flink的Exactly-Once，要区分实现的范围。在 Flink 1.4.0 之前，Exactly-Once 语义仅限于 Flink 应用程序内部，并没有扩展到 Flink 数据处理...
PostgreSQL数据库事务实现方法分析
12-16
写操作则根据不同的隔离级别，可能使用行级锁、表级锁或两阶段锁来控制并发，以防止脏读、不可重复读和幻读等问题。 在PostgreSQL中，每个事务都会创建一个postgre进程，同时使用分层的事务模型。上层事务块代表...
网上选课系统的分析与实现
06-28
"网上选课系统的分析与...网上选课系统的分析与实现包括系统分析、可行性分析、系统需求分析、业务流程分析、数据流分析和数据字典等阶段，旨在实现大学选修课的网上设置、申请和管理，提高教学管理效率和学生体验。
Flink两阶段提交协议 + Kakfa事务 保证端到端唯一 /TwoPhaseCommitSinkFunction / Kafka的幂等性和事务
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-22 4542
文章目录 Flink两阶段提交 1.EXACTLY_ONCE语义 2.Kafka的幂等性和事务 2.1 幂等性 2.2 事务 3.两阶段提交协议 4.TwoPhaseCommitSinkFunction 参考文献 Flink两阶段提交 1.EXACTLY_ONCE语义 EXACTLY_ONCE语义简称EOS，指的是每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部.
FlinkKafkaProducer两阶段提交-TwoPhaseCommitSinkFunction过程简述
m0_47444428的博客
01-20 1094
两阶段提交 1 FlinkKafkaProducer继承了TwoPhaseCommitSinkFunction 类 2 TwoPhaseCommitSinkFunction类继承了RichSinkFunction类且实现了CheckPointedFunction接口以及CheckPointListener接口 3 FlinkKafkaProducer重写了TwoPhaseCommitSinkFunction类...
Flink-MysqlTwoPhaseCommit.zip
02-27
Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。
flink-1.7-中文文档(官网英文翻译过来).pdf
05-13
flink中文文档 非常详细 快速上手入门 5分钟上手开发 流计算入门权威资料 上手flink 必看！
分布式事务-02:2PC 二阶段提交协议实现过程及原理
IT云清
06-03 1946
图片来源：pexels网站java4all原创,欢迎关注摘要：本文主要讲解分布式事务中二阶段提交协议（2pc）相关基础概念，原理及详细的执行过程。1.理论基础二阶段提交(...
postgres 源码解析3 二阶段提交实践+源码学习
Serendipity_Shy
05-28 433
  开启一个事务，后通过GDB进行跟踪，断点在 PrepareTransaction postgres=# begin; BEGIN postgres=*# select pg_backend_pid(); pg_backend_pid ---------------- 226252 (1 row) postgres=*# insert into wp_shy values(11,'redacancy'); INSERT 0 1 postgres=*# prepare transac
Flink二阶段提交
liuwei0376的专栏
08-10 4066
XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resource Manager，参与者）之间的接口。其中，资源管理器往往由数据库实现，如Oracle、DB2、MySQL，这些商业数据库都实现了XA 接口，而事务管理器作为全局的调度者，负责各个本地资源的提交和回滚。....
分布式事务实现机制及二阶段提交
数据源的港湾
02-16 549
注：本文章引自。
聊聊 MySQL 事务二阶段提交
m0_71777195的博客
07-27 1636
二阶段提交是一种用于保证分布式事务原子性的协议。二阶段提交的实现过程，有2个角色参与其中资源管理器，ResourceManager，负责管理一部分资源。对于数据库来说，这里的资源指的就是数据。如果把分布式事务看成是一个整体，每个资源管理器会负责其中的一部分，也就是分布式事务的一个本地事务。资源管理器在分布式事务中的角色就是干活的，所以，我们可以称它为执行器。事务管理器，TransactionManager，负责管理分布式事务，协调事务的提交、回滚、以及崩溃恢复。httpshttps。...
分布式事务三 解决方案之2PC(两阶段提交)
han_xuefeng的博客
01-12 1796
分布式事务三 解决方案之2PC(两阶段提交)
职工人事管理系统数据库设计与实现（包括需求分析，数据库设计，数据表、视图、存储过程等）
05-29
在需求分析阶段，需要明确系统的目标用户、功能需求、业务流程等，以便于后续的设计和实现。通过ER模型，可以清晰地描述实体间的关系，再将其转换为关系模型，最终形成具体的数据库表结构。在数据库设计中，合理的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值