ACID过时？用 Sagas搞定数据一致性

最新推荐文章于 2024-03-22 01:45:43 发布
最新推荐文章于 2024-03-22 01:45:43 发布
阅读量373 收藏
点赞数
文章标签： 数据库 分布式 java 大数据 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013527895/article/details/120898225
版权

ACID Is So Yesterday: Maintaining Data Consistency with Sagas

Chris Richardson

Founder of Eventuate.io
Founder of the original CloudFoundry.com Author of POJOs in Action

本文素材作者  Chris Richardson，由坐馆老G先生注解

7d0f99d77c14a1dd14733bbae1ce13f0.png

讲义goal：

分布式数据管理在微服务架构下的挑战

Sagas 是一种事务模型

c4a35300a135cf932e458fe110779440.png

关于作者Chris

大大有名

POJO‘s in action

Microservice Patterns

1c36ed02a63270323c7a3f382c4d497f.png

f113fa1fac7c204f1cccf60493b3c186.png

a498ff6d6de2444c2911f711ffcfd857.png

f4c1c5dfacc1bfdab52c80f375bebd93.png

e35f853fa885fbd1e7ad71daa69df5fe.png

8665c8d14272214657398b7dbe7a6f7d.png

微服务enable 持续部署

架构、组织和过程三角

架构：微服务架构

组织：小、敏捷、自组织功能团队

过程：持续交付/部署

services = testability  and deployability

5e4b40f5f6827b91b44cbca0e7d8f24e.png

2a7d0066d6e7c13397a01bc3f1ac444b.png

10fa3e0c8968c4ad7c15a98a8416b54c.png

松耦合，数据封装

ae10465006507fe7417b9508e1fc0ec0.png

如何维护数据一致性呢？

eafcb13eee07f6b85c67c0f2c3bd4768.png

由于不在一个（本地）事务中......

af36eecabcd242980e54ffea9a76b2ce.png

2PC 不是一个好的选择

//

1、2PC事务协调器单点故障问题

2、通讯：至少有O（4n）条消息，并重试O（n^2）

3、锁导致吞吐量降低

4、许多NoSQL数据库（或消息代理）不支持

5、CAP理论 ⇒ 2PC影响可用性

eb9495db702f00345be2122dda4154bf.png

Ebay的Dan Pritchett 提出：

In partitioned databases, trading some consistency for availability can lead to dramatic improvements in scalability.

并有一个著名的Base理论。

Base: An Acid Alternative

Basically Available 

Soft state

Eventually consistent

172c3a0b5285c86021c41a0703c622ef.png

1426102786d05f1da393631f1d3dbce3.png

sagas 可以追溯到1987年的论文

1987年普林斯顿大学的Hector Garcia-Molina和Kenneth Salem发表了一篇Paper Sagas，讲述的是如何处理long lived transaction（长活事务）。Saga是一个长活事务可被分解成可以交错运行的子事务集合。其中每个子事务都是一个保持数据库一致性的真实事务。

3c44ce3c00e826172ad2d59435971954.png

c14a2c45ebb38bbe35141e27e67a70c1.png

17e0bd266d5f54d722f5a9428fc9fb6d.png

321648e6df6336515dce156fa2f45513.png

55baacbbbe1c17387ca7e5cb1ab4ea06.png

Saga的组成

  • 每个Saga由一系列sub-transaction Ti 组成

  • 每个Ti 都有对应的补偿动作Ci，补偿动作用于撤销Ti造成的结果

可以看到，和TCC相比，Saga没有“预留”动作，它的Ti就是直接提交到库。

Saga的执行顺序有两种：

  • T1, T2, T3, ..., Tn

  • T1, T2, ..., Tj, Cj,..., C2, C1，其中0 < j < n

Saga定义了两种恢复策略：

  • backward recovery，向后恢复，补偿所有已完成的事务，如果任一子事务失败。即上面提到的第二种执行顺序，其中j是发生错误的sub-transaction，这种做法的效果是撤销掉之前所有成功的sub-transation，使得整个Saga的执行结果撤销。

  • forward recovery，向前恢复，重试失败的事务，假设每个子事务最终都会成功。适用于必须要成功的场景，执行顺序是类似于这样的：T1, T2, ..., Tj(失败), Tj(重试),..., Tn，其中j是发生错误的sub-transaction。该情况下不需要Ci。

f0a4be0521a65ef51faa5b64595c3016.png

6ee3cc7ed9259a950fbde7503495dc57.png

Sagas complicate API design （Sagas 使 API 设计 复杂化 ）

Synchronous API vs Asynchronous Saga
Request initiates the saga. When to send back the response? 

Option #1: Send response when saga completes:

+ Response specifies the outcome - Reduced availability

选择一：saga完成的时候发送响应

Option #2: Send response immediately after creating the saga

(recommended)

选择二：创建saga之后马上发送响应（推荐）

+ Improved availability（提高可用性）

- Response does not specify the outcome. Client must poll or be notified

（响应没有指定结果。必须轮询或通知Client端）

b12353d13abb11f77db036cf2a34665d.png

9e8e3f95c2062144a13bd2b0c2e81250.png

使用Sagas，可能影响用户体验。

UI界面向用户隐藏异步API

如果需要更长的时间， 用户界面显示“处理中”弹出窗口

服务器可以将通知推送到UI

11164a1d34b46b15f7b0c51355ce8cf1.png

c9f99c5c01b15cf3319d3c3c32a9f4b3.png

69b9d1f896a460bbf574787b74d98c75.png

f111dfa26e1c6776d5fe117fc0a04c95.png

Sagas 拥有 ACD 特性

原子性、一致性、持久性

9e1b0b3e3dc94dbe1ca9e91143f5f73b.png

缺失隔离性

8d22198c0a34840a30db50db4b49349c.png

Commutative updates

e.g. debit account can compensate for a credit account

Version file （版本文件）

Record history of changes （记录变化历史）

Use them to make updates commutative

e.g. record cancel reservation（记录 取消 预定） so that create/cancel = cancel/ create

Sounds suspiciously like event sourcing

79c0d90ac4db1258cfcdc840e4edb263.png

3c9a642ad136ca36b6636bc26c9c5a56.png

e42f4fa8b2b15a953a08f2beb733fd91.png

a81e5567753e1560ac7017e7ee80e869.png

05ce7d8bb9626149f9649ad48873ab30.png

Choreography （编排）: distributed decision making vs.

Orchestration（协调）: centralized decision making

cd0b70b94160117e544a8427bd0db0d6.png

方案1:使用事件做基于编排模式的协作

55867bbfa86a5736bb7a58ae9f7602c5.png

优缺点：

Benefits （好处）

简单，尤其使用事件溯源时

参与者松耦合

Drawbacks （缺点）

循环依赖

领域对象过载，例如订单和客户相互知道太多

Events = ndirect way to make something happen to make something happen

7df17452f7df8aa8e100ecab95fc4f94.png

选项2：基于编排的saga协调

8ed9f9a43f3fd501729955673718f30c.png

saga（orchestrator ） 是一个持久性对象，跟踪saga的状态，以及调用参与者

64392f09f18b9e2e53e3ee2f64967c04.png

fb81b1a67a86b1727ef7e7f84f7ce3e3.png

4542d8d79152cf29b3e1faa7b366a15f.png

48d1dc53e3f132ecc20782bfd37da36d.png

59698e0a162b9dadc2ef87c1d668e024.png

这里有一个例子，开源的saga 框架

efffb5705f1bf1e8440bb748c76a055c.png

 优缺点

Benefits

Centralized coordination logic is easier to understand

Reduced coupling, e.g. Customer knows less

Reduces cyclic dependencies

Drawbacks

Risk of smart sagas directing dumb services

cb2116acadbc5b90f2284bdafa5ef64a.png

61122ad6b781fd38c801eeb116088cd4.png

8731114c1970b338ea6ede534450c78e.png

dc6be03f9544d647fd6b9797c809210e.png

8369b11ddd133792a141442d8e1cd360.png

消息必须支持事务

6e9f02956906b151bbf920eb0edcbb26.png

选择1:使用数据库表作为消息队列，ebay的案例

1fb20e47f1cfd7eb3b1ee6cd8abd4c32.png

05602d6de2b38d835af00b4de96680d8.png

a88f9b203d5aad914122cc1118dd448b.png

选择2: 使用事件溯源：以事件为中心的持久化

82cee712c5533e6060f4411e9c2aacb2.png

34394ebf580a79197e949692785fb5b5.png

498552305de008bf8d248c07d321c991.png

 
 
加入技术琐话粉丝群，公众号回复：技术群。
下载“100页ppt讲清楚云原生 ” ppt，公众号回复：高磊。
下载本ppt，公众号回复：sagas。
 
 
  往期推荐：
 
  
 
技术琐话 
 
 
以分布式设计、架构、体系思想为基础，兼论研发相关的点点滴滴，不限于代码、质量体系和研发管理。
 
 
bbebcdae6f2bdb3b6163882ab6accfae.png
 


                

        

        

    




    

      

        

            

              
                
                  技术琐话
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Sagas模式

				
			

			

				

					weixin_30721899的博客
				

				

					12-21
					
					300
					
				

			

		

		

			
				
Sagas属于一个错误管理模式，也同时用于控制复杂事务的执行和回滚等。同时，Compensating-Transaction模式的的实现也是也是类似于Sagas策略的，可以对比参考一下。

Sagas的最开始的出现是因为一些长时间的事务的实现（最开始的时候仅仅是因为数据内的事务），现在也包括一些跨越多个区域的分布式事务。这些长时间持续的事务无法简单地通过一些典型的ACID模型使...

			
		

	



                

              
                



	

		

			

				
					
如何用saga实现分布式事务？

				
			

			

				

					半亩方塘立身
				

				

					03-17
					
					1280
					
				

			

		

		

			
				
SAGA事务模式的历史十分悠久，比分布式事务的概念提出还要更早。SAGA的意思是“长篇故事、长篇记叙、一长串事件”，它起源于1987年普林斯顿大学的赫克托 · 加西亚 · 莫利纳（）和肯尼斯 · 麦克米伦（）在ACM发表的一篇论文《SAGAS》。文中提出了一种如何提升“长时间事务”（）运作效率的方法，大致思路是把一个大事务分解为可以交错运行的一系列子事务的集合。原本提出SAGA的目的，是为了避免大事务长时间锁定数据库的资源，后来才逐渐发展成将一个分布式环境中的大事务，分解为一系列本地事务的设计模式。

			
		

	



                


  
              

                


	

		

			

				
					
微服务架构数据一致性分析

					
热门推荐

				
			

			

				

					张彦峰的博客
				

				

					02-07
					
					165万+
					
				

			

		

		

			
				
微服务架构数据一致性分析：分布式事物+CAP&BASE+可靠事件模式+补偿模式+Sagas模式+TCC模式+最大努力通知模式+人工干预模式

			
		

	





	

		

			

				
					
Apache ServiceComb 中的微服务数据最终一致性方案

				
			

			

				

					ServiceComb的博客
				

				

					04-26
					
					566
					
				

			

		

		

			
				
本文转自 微服务开源框架 Apache ServiceComb 官方博客 http://servicecomb.incubator.apache.org/cn/docs/saga_pack_design/本文由华为微服务引擎技术团队&amp;&amp;ServiceComb社区授权发布。数据一致性是构建业务系统需要考虑的重要问题 ， 以往我们是依靠数据库来保证数据的一致性。但是在微服务架构以及分布...

			
		

	



		

			
		



	

		

			

				
					
戏说领域驱动设计——Saga设计模型

				
			

			

				

					lyl54545的博客
				

				

					05-24
					
					539
					
				

			

		

		

			
				
上一节我们讲解了常用的事务，也提及了Saga，这是在分布式环境下被经常使用的一种处理复杂业务和分布式事务的设计模式。本章我们的主要目标是编写一个简单版本的Saga处理器，不同于Seata框架中那种可独立部署的事务服务，我们所编写的Saga和业务集成在一起也不支持通过手画流程的方式实现，因为我们的目标是将Saga作为一种设计模式（不是框架）来使用，类似于您经常使用的“工厂”、“策略”等，重点学习它的思想，在真实项目中使用肯定是需要根据需求做二次加工的。而且，简单版本的优势就是足够简单，投入虽然不多但能从中获取

			
		

	





	

		

			

				
					
五种事务一致性比较

				
			

			

				

					07-12
				

			

		

		

			
				
五种事务一致性介绍笔记：两阶段提交、TCC、Event Sourcing、读写分离、Sagas

			
		

	





	

		

			

				
					
eventuate-tram-sagas-examples-customers-and-orders:使用基于业务流程的传奇来维护数据一致性的Spring BootJPA微服务

				
			

			

				

					04-29
				

			

		

		

			
				
最终电车Sagas的客户和订单该应用程序演示了如何使用在基于Java / JDBC / JPA的微服务体系结构中维护数据一致性。 该应用程序包含两个服务： Order Service -创建订单Customer Service -管理客户两种服务都是使用...

			
		

	





	

		

			

				
					
kafka-sagas：在Kafka上使用redux-sagas语义

				
			

			

				

					02-23
				

			

		

		

			
				
 Kafka-sagas是一个软件包，可让您使用与在之上构建的相似的语义。 使用Kafka-Sagas时，Kafka主题被视为传奇可以将动作分派到其中的流，并利用它们来发起传奇的特定动作。   用法 1.安装 npm install -- save kafka ...

			
		

	





	

		

			

				
					
redux-saga-persistence:使用Redux Sagas的持久性实现

				
			

			

				

					05-17
				

			

		

		

			
				
本示例说明了如何使用Redux Sagas实现持久性机制。  在 检查持久性传奇的代码。 我详细介绍了如何实现它的过程。  在这里观看工作示例： :  更新说明 在创建博客文章时， redux-saga项目的运行版本为0.9.5 。 在过去...

			
		

	





	

		

			

				
					
sagas英文原版下载

				
			

			

				

					12-14
				

			

		

		

			
				
Hector Garcaa-Molrna 、Kenneth Salem Saga模型起源于1987年  Department of Computer Science  Princeton University  Princeton, N J 08544

			
		

	





	

		

			

				
					
SSM 如何使用 Saga 机制实现分布式事务？

				
			

			

				

					徐师兄的博客
				

				

					05-26
					
					703
					
				

			

		

		

			
				
Saga 是一种解决分布式事务问题的机制，它通过将一个大事务分解为多个小事务并使它们顺序执行来保证分布式事务的一致性。每个小事务都是一个本地事务，Saga 将这些本地事务组合成一个全局事务。如果某个本地事务失败，Saga 会通过执行补偿操作来回滚全局事务。Saga 机制的核心思路是将分布式事务分解成多个本地事务，这些本地事务可以跨越不同的服务，但是在一个事务期间内，它们必须遵循一致性规则。

			
		

	





	

		

			

				
					
Spring Boot 中的 SAGA 事务

				
			

			

				

					徐师兄的博客
				

				

					07-04
					
					843
					
				

			

		

		

			
				
SAGA（Sequentially Consistent Autonomous Global Transactions）是一种基于事件驱动的分布式事务模型，它的目标是保证在分布式系统中的多个服务之间的操作是顺序一致的，从而保证最终一致性。与传统的 ACID 事务模型不同，SAGA 事务模型并不是立即提交所有的操作，而是通过一系列的事件来驱动事务的执行。在 SAGA 事务模型中，每个服务都有一个 Saga 实例，Saga 实例包含了一系列的事件和操作。

			
		

	





	

		

			

				
					
Saga分布式事务解决方案与实践

				
			

			

				

					单炒饭
				

				

					04-12
					
					1万+
					
				

			

		

		

			
				
Saga分布式事务解决方案与实践



我先介绍一下我自己，我叫姜宁，来自于华为开源研究中心，现在负责的是ServiceComb这个开源项目。ServiceComb这个项目已经进到Apache孵化，应该是去年11月份时进到Apache孵化的，这个月我们帮刚发了1.0M1版，但对于SAGA来说我们属于探索的阶段，发布了0.1.0。

我参与过Apache一些项目，我也是Apache的 Member，...

			
		

	





	

		

			

				
					
分布式事务

				
			

			

				

					qq_47815451的博客
				

				

					10-23
					
					209
					
				

			

		

		

			
				
分布式事务
分布式事务理论CAP（强一致性）

CAP 定理，又被叫作布鲁尔定理。对于共享数据系统，最多只能同时拥有CAP其中的两个，任意两个都有其适应的场景。




BASE（最终一致性）BASE 是指基本可用（Basically Available）、软状态（ Soft State）、最终一致性（ Eventual Consistency）。它的核心思想是即使无法做到强一致性（CAP 就是强一致性），但应用可以采用适合的方式达到最终一致性。

BA指的是基本业务可用性，支持分区失败；
S表示柔性状态，

			
		

	





	

		

			

				
					
ACID 过时？用 Sagas 搞定数据一致性，2024年是意义非凡的一年

					
最新发布

				
			

			

				

					m0_57541068的博客
				

				

					03-22
					
					226
					
				

			

		

		

			
				
大大有名微服务enable 持续部署架构、组织和过程三角架构：微服务架构组织：小、敏捷、自组织功能团队过程：持续交付/部署松耦合，数据封装如何维护数据一致性呢？由于不在一个（本地）事务中…2PC 不是一个好的选择//1、2PC事务协调器单点故障问题2、通讯：至少有O（4n）条消息，并重试O（n^2）3、锁导致吞吐量降低4、许多NoSQL数据库（或消息代理）不支持5、CAP理论 ⇒ 2PC影响可用性。

			
		

	





	

		

			

				
					
使用 SAGA 来保证微服务的数据一致性

				
			

			

				

					surfirst的博客
				

				

					06-12
					
					394
					
				

			

		

		

			
				
问题
在单体架构中所有的数据都在一个数据库中，开发者可以使用数据库的事务来保证数据的一致性。当事务执行失败时，可以回滚事务，把数据恢复到修改前的状态。
BEGIN TRAN

-- 你的业务代码

END TRAN

在微服务中，每个服务都有自己的数据库，当一个业务操作需要跨多个服务时，开发者没有像单个数据库那样把业务包装到事务中的简单工具。如果使用分布式事务锁，可能会因为要协调和锁定多个服务，而导致性能急剧下降。
比如在网上购物中，消费者可以使用自己的积分来抵扣订单金额，而系统中有订单服务和积分服务，系统

			
		

	





	

		

			

				
					
分布式事务之SAGA案例

				
			

			

				

					行走
				

				

					05-03
					
					1920
					
				

			

		

		

			
				
1. 分布式事务
  在前面文章《分布式事务》中介绍了几种分布式事务，其中Saga介绍了相关的概念，接下来介绍Saga使用案例，案例来源《微服务架构设计模式》。
2. 案例需求分析
2.1 一个成功的订单创建流程
  实现餐馆系统中的创建订单createOrder()操作。这个操作必须验证消费者是否满足下订单的相关条件、验证订单内容、完成消费者的信用卡授权,以及在数据库中创建Order。一个成功的订单创建流程：

创建一个待处理订单；
验证订单消费者可以下单；
创建后厨工单；
对消费者提供的信用卡进行授权操

			
		

	





	

		

			

				
					
saga模式、Seata saga模式详解

				
			

			

				

					健身变秃，coding变强
				

				

					03-31
					
					2992
					
				

			

		

		

			
				
saga论文摘要？
什么是长事务？
saga的两种执行方式：forward recovery、backward recovery？
saga协调：choreography策略、orchestration策略？
seata saga如何实现？
seata saga模式如何基于状态机实现。

			
		

	





	

		

			

				
					
分布式事务——Saga实现思路

				
			

			

				

					看不懂的男孩的博客
				

				

					11-08
					
					1277
					
				

			

		

		

			
				
在微服务的世界里，分布式事务一直是躲不开的问题。这里提供一种基于Saga理论的分布式事务实现思路，解决长活事务长时间阻塞问题

			
		

	





	

		

			

				
					
react redux异步数据

				
			

			

				

					07-12
				

			

		

		

			
				
在React Redux中处理异步数据通常需要使用中间件来处理异步操作。最常用的中间件是Redux Thunk和Redux Saga。  使用Redux Thunk时，你可以在action creator中返回一个函数，而不仅仅是一个普通的action对象。这个...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值