95-241-102-源码-Flink语义-Flink的exectly-once系列之两阶段提交实现分析

最新推荐文章于 2024-05-25 10:15:53 发布
最新推荐文章于 2024-05-25 10:15:53 发布
阅读量711 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink exectly once 两阶段提交
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106027948
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文深入分析Flink的exactly-once语义，重点讲解TwoPhaseCommitSinkFunction抽象类和FlinkKafkaProducer011的两阶段提交实现。在Flink中，通过checkpoint与事务配合，实现数据一致性。FlinkKafkaProducer011利用Kafka的事务特性，确保即使在异常情况下也能恢复事务状态，避免数据不一致。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

2.概述

95-241-100-源码-Flink语义-Flink的exectly-once系列之两阶段提交概述
在上一章中介绍了两阶段提交的基本思路以及如何根据checkpoint机制来实现两阶段提交思路，flink给出来两阶段提交抽象实现TwoPhaseCommitSinkFunction与具体实现FlinkKafkaProducer011。

3.TwoPhaseCommitSinkFunction

​ TwoPhaseCommitSinkFunction是一个抽象类，继承RichSinkFunction，实现CheckpointedFunction与CheckpointListener接口。

在这里插入图片描述

抽象出了以下四个方法：


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  九师兄
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
Flink 两阶段提交（Two-Phase Commit）协议

				
			

			

				

					JustinMars的博客
				

				

					08-08
					
					2227
					
				

			

		

		

			
				
flink两阶段提交

			
		

	



                

              
                



	

		

			

				
					
Flink两阶段提交

					
热门推荐

				
			

			

				

					lisenyeahyeah的博客
				

				

					05-17
					
					1万+
					
				

			

		

		

			
				
文章目录两阶段提交
两阶段提交
何为EXACTLY_ONCE？
EXACTLY_ONCE简称EOS，每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部来说的，对于外部系统(端到端)则有比较强的限制
1.外部系统写入支持幂等性
2.外部系统支持以事务的方式写入
什么是两阶段提交？预提交+实际提交
flink里将两阶...

			
		

	



                


  
              

                


	

		

			

				
					
Flink二阶段提交

				
			

			

				

					liuwei0376的专栏
				

				

					08-10
					
					4174
					
				

			

		

		

			
				
XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resource Manager，参与者）之间的接口。其中，资源管理器往往由数据库实现，如Oracle、DB2、MySQL，这些商业数据库都实现了XA 接口，而事务管理器作为全局的调度者，负责各个本地资源的提交和回滚。....

			
		

	





	

		

			

				
					
flink（八）两阶段提交（备份别人的）

				
			

			

				

					李玉志的博客
				

				

					12-23
					
					1337
					
				

			

		

		

			
				
两阶段提交
在Flink的两阶段提交中，JobManager充当协调者，TaskManager中的Source、Operator、Sink充当参与者，他们之间的通信有Checkpoint触发，其中barrier是核心中的核心。两阶段提交是实现精确一次性语义的核心原理。其核心原理就是在Barrier对齐的情况下所有的算子都成功的完成了Checkpoint，就完成了真正的两阶段提交。

JobManager向Source发送Barrier，开始进入pre-Commit阶段，当只有内部状态时，pre-commit

			
		

	



		

			
		



	

		

			

				
					
95-241-100-源码-Flink语义-Flink的exectly-once系列之两阶段提交概述

				
			

			

				

					九师兄
				

				

					07-01
					
					778
					
				

			

		

		

			
				
1.世界

3.处理语义
关于消息的消费、处理语义可以分为三类：


at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能


exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次


at least once ：至少一次，表示一条消息从消费到后续的处理成功，可能会发生多次


4.exectly once语义
​		在我们程序处理中通常要求能够满足exectly once语义，保证数据的准确性，flink

			
		

	





	

		

			

				
					
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip

				
			

			

				

					02-29
				

			

		

		

			
				
 - **容错机制**：Flink的Exactly-once语义在1.16.2中可能更加成熟，保证在故障后恢复时结果的准确性。  4. **安装与配置**  - **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。  - ...

			
		

	





	

		

			

				
					
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)

				
			

			

				

					10-08
				

			

		

		

			
				
14. **Flink 的流处理模型**：Flink 采用DataStream API 实现了一种称为“恰好一次”(Exactly-once)的语义，保证了在处理流数据时的精确结果。  15. **Flink 的状态背后原理**：Flink 使用分布式状态存储，如 Rocks...

			
		

	





	

		

			

				
					
flink-1.13.6-bin-scala_2.12.tgz资源下载

				
			

			

				

					05-30
				

			

		

		

			
				
3. **状态管理和容错**：Flink 的检查点和保存点机制使得系统能够进行故障恢复，保证了exactly-once语义，即使在分布式环境中也能保持数据一致性。  4. **Scala API**：`scala_2.12` 表明该版本的 Flink 集成了 ...

			
		

	





	

		

			

				
					
Flink-MysqlTwoPhaseCommit.zip

				
			

			

				

					02-27
				

			

		

		

			
				
Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。

			
		

	





	

		

			

				
					
flink-1.7-中文文档(官网英文翻译过来).pdf

				
			

			

				

					05-13
				

			

		

		

			
				
flink中文文档 非常详细 快速上手入门 5分钟上手开发 流计算入门权威资料 上手flink 必看！

			
		

	





	

		

			

				
					
flink的事务之两阶段提交

				
			

			

				

					weixin_40809627的博客
				

				

					04-14
					
					3890
					
				

			

		

		

			
				
场景描述：两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。本文来介绍它的相关细节以及它在Flink中的典型应用场景。。



			
		

	





	

		

			

				
					
flink的mysql两阶段提交_flink 两阶段提交

				
			

			

				

					weixin_33109551的博客
				

				

					01-27
					
					1314
					
				

			

		

		

			
				
flink exactly-once系列目录：一、两阶段提交概述二、TwoPhaseCommitSinkFunction与FlinkKafkaProducer源码分析三、StreamingFileSink源码分析四、事务性输出实现五、最终一致性实现一、flink Exactly-Once与At-Least-Once关于消息的消费、处理语义可以分为三类：1.  at most once : 至多一次...

			
		

	





	

		

			

				
					
flink 通过两阶段提交实现exactly-once

				
			

			

				

					xiaopeigen的专栏
				

				

					08-31
					
					688
					
				

			

		

		

			
				
一、flink Exactly-Once与At-Least-Once


   关于消息的消费、处理语义可以分为三类：

   1.  at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能

   2\. exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次

   3\. at least once ：至少一次，表示一条消息从消费到后续的处理成功，可能会发生多次

 在我们程序处理中通常要求能够满足exec

			
		

	





	

		

			

				
					
Flink——Flink CheckPoint之两阶段提交协议（Two-Phase Commit Protocol）

				
			

			

				

					aof
				

				

					03-29
					
					5355
					
				

			

		

		

			
				
参考

https://courses.cs.vt.edu/the-two-phase-commit-protocol
https://www.geeksforgeeks.org/two-phase-commit-protocol-distributed-transaction-management/




			
		

	





	

		

			

				
					
Flink MySQL两阶段提交示例代码

					
最新发布

				
			

			

				

					
				

				

					05-25
					
					406
					
				

			

		

		

			
				
最近在工作中使用到Flink，正好也涉及到往MySQL进行最终的数据写入。且程序的模式是精准一次，故要配合checkpoint进行两阶段提交。在网上找了大部分的案例代码，但是发现部署后或多或少都会有一些问题。在浏览了大部分的案例代码后，目前本人在工作中的两阶段提交示例代码如下，这里仅做案例展示使用，具体的业务逻辑需要各位替换成自己的。Flink使用的版本是1.16.1。

			
		

	





	

		

			

				
					
深入理解Flink ---- End-to-End Exactly-Once语义

				
			

			

				

					weixin_30268921的博客
				

				

					05-11
					
					357
					
				

			

		

		

			
				
上一篇文章所述的Exactly-Once语义是针对Flink系统内部而言的.
那么Flink和外部系统(如Kafka)之间的消息传递如何做到exactly once呢?

问题所在:

如上图,当sink A已经往Kafka写入了数据,而sink B fail. 
根据Flink的exactly once保证,系统会回滚到最近的checkpoint,
但是sink A已经把数据写入...

			
		

	





	

		

			

				
					
flink checkpoint 两阶段提交协议详解

				
			

			

				

					涛声依旧, 万古流名
				

				

					04-19
					
					1494
					
				

			

		

		

			
				
精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。

			
		

	





	

		

			

				
					
深入解析Flink核心执行流程：从源码角度看Job提交

				
			

			

				

					
				

			

		

		

			
				
最后，文中涉及了StreamOperator的抽象与实现，以及Flink的容错机制以确保Exactly-Once语义的实现。"  在Apache Flink的执行流程中，`submitJob`方法扮演了关键角色。这段代码展示了如何在`MiniCluster`中执行一个`...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值