分布式事务

数据库事务

数据库事务要满足几个要求：ACID

• Atomic(原子性) ：事务必须是原子的工作单元
• Consistent(一致性) ：事务完成时，必须使所有数据都保持一致状
• Isolation(隔离性) ：并发事务所做的修改必须和其他事务所做的修改是隔离的
• Duration（持久性） ：事务完成之后，对系统的影响是永久性的

Mysql里的事务处理过程

1. 记录 redo 和 undo log 文件，确保日志在磁盘上的持久化
2. 更新数据记录
3. 提交事务 ，redo 写入 commit 记录

产分布式事务背景

1. 数据库分库分表

2. SOA化 （面向服务架构）

面向服务架构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）进行拆分，并通过这些服务之间定义良好的接口和协议联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。

X/OpenDTP事务模型

X/Open Distributed Transaction Processing Reference Model
X/Open是一个组织机构，定义出的一套分布式事务标准， 定义了规范的API接口

J2EE 遵循了 X/open DTP 规范，设计并实现了 java 里面的分布式事务编程接口规范 - JTA
XA 是 X/Open DTP 定义的中间件与数据库之间的接口规范。
XA 接口函数由数据库厂商提供

X/OpenDTP 角色

• AP application
• RM resouces manager 资源管理器。 数据库
• TM transaction manager 事务管理器，事务协调者

2PC（two -phase-commit）, 用来保证分布式事务的完整性

阶段一：提交事务请求（投票）

1. TM 向所有的 AP 发送事务内容，询问是否可以执行事务的提交操作，并等待各个 AP 的响应
2. 执行事务各个 AP 节点执行事务操作，将 undo 和 redo 信息记录到事务日志中，尽量把提交过程中所消耗时间的操作和准备都提前完成，确保后续事务提交的成功率
3. 各个 AP 向 TM 反馈事务询问的响应，各个AP 成功执行了事务操作，那么反馈给 TM yes 的response；如果 AP 没有成功执行事务，就反馈TM no 的 response

阶段二：执行事务提交

执行提交事务

假设一个事务的提交过程总共需要30s， 其中 prepare 操作需要28（事务日志落地磁盘及各种io操作），而真正 commit
只需要2s 那么，commit 阶段发生错误的概率和 prepare 相比， 2/28 (<10%) .只要第一个阶段成功，那么
commit阶段出现失败的概率就非常小，大大增加了分布式事务的成功概率

中断事务提交

2pc存在的问题

1. 数据一致性问题

a) 数据不一致。在二阶段提交的阶段二中，当协调者向参与者发送commit请求之后，发生了局部网络异常或者在发送commit请求过程中协调者发生了故障，这回导致只有一部分参与者接受到了commit请求。而在这部分参与者接到commit请求之后就会执行commit操作。但是其他部分未接到commit请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据部一致性的现象。
b) 同步阻塞问题。执行过程中，所有参与节点都是事务阻塞型的。当参与者占有公共资源时，其他第三方节点访问公共资源不得不处于阻塞状态
c) 二阶段无法解决的问题：协调者在发出commit消息之后宕机，而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举协议产生了新的协调者，这条事务的状态也是不确定的，没人知道事务是否被已经提交
d) 单点故障。由于协调者的重要性，一旦协调者发生故障。参与者会一直阻塞下去

2. 同步阻塞

3PC ( three phase commit )

• 阶段一：canCommit
• 阶段二：preCommit
• 阶段三：doCommit

改进点

a) 增加了超时机制
b) 第二阶段，如果协调者超时没有接受到参与者的反馈，则自动认为失败，发送abort命令
c) 第三阶段，如果参与者超时没有接受到协调者的反馈，则自动认为成功开始提交事务（基于概率）

3pc的问题

相对于2PC，3PC主要解决的单点故障问题，并减少阻塞，因为一旦参与者无法及时收到来自协调者的信息之后，他会默认执行 commit。而不会一直持有事务资源并处于阻塞状态。但是这种机制也会导致数据一致性问题，因为，由于网络原因，协调者发送的 abort 响应没有及时被参与者接收到，那么参与者在等待超时之后执行了commit 操作。这样就和其他接到 abort 命令并执行回滚的参与者之间存在数据不一致的情况。

概述

通过 2pc 方式去完成分布式事务，虽然通过这种方式能够达到预期的效果，但是我们在现实中很少会用到 2pc 方式的提交的XA事务，有几个原因

1. 互联网电商应用的快速发展，对事务和数据的绝对一致性要求并没有传统企业应用那么高
2. XA 事务的介入增加了 TM 中间件，使得系统复杂化
3. XA 事务的性能不高，因为 TM 要等待 RM 回应，所以为了确保事务尽量成功提交，等待超时的时间通常比较长，比如 30s 到几分钟，如果 RM 出现故障或者响应比较慢，则整个事务的性能严重下降

互联网的分布式事务解决方案

目前互联网领域里有几种流行的分布式解决方案，但都没有像之前所说的XA事务一样形成X/OpenDTP那样的工业规范，而是仅仅在具体的行业里获得较多的认可

业务接口整合，避免分布式事务

这个方案就是把一个业务流程中需要在一个事务里执行的多个相关业务接口包装整合到一个事务中，比如我们可以讲A/B/C整合为一个服务D来实现单一事务的业务流程服务

最终一致性方案之ebay模式

eBay在2008年公布了一个关于BASE准则提到一个分布式事务解决方案。eBay的方案其实是一个最终一致性方案，它主要采用消息队列来辅助实现事务控制流程，方案的核心是将需要分布式处理的任务通过消息队列的方式来异步执行，如果事务失败，则可以发起人工重试的纠正流程。人工重试被更多的应用于支付场景，通过对账系统对事后问题进行处理

比如一个很常见的场景：某个用户产生了一笔交易，那么需要在交易表中增加记录，同时需要修改用户表的金额（余额），由于这两个表属于不同的远程服务，所以就会涉及到分布式事务与数据一致性的问题

user(id, name, amt_sold, amt_bought) transaction(xid, seller_id,
buyer_id, amount)

begin;
INSERT INTO transaction VALUES(xid, $seller_id, $buyer_id, > $amount);
UPDATE user SET amt_sold = amt_sold + $amount WHERE id = $seller_id;
UPDATE user SET amt_bought = amt_bought + $amount WHERE> id = $buyer_id;
commit;

那么在这里可以使用消息队列（MQ）来做

• 先启动一个事务，更新交易表（transaction）后，并不直接更新 user 表，而是将要对 user 表进行的更新插入到消息队列中。
• 目标系统收到该消息以后，启动本地事务去对用户表的余额做调整

// 伪代码
if(dao.update()){
  mq.send();
}

根据上面的伪代码的实现方案，可能出现几种情况

1. 数据库操作成功，向MQ中投递消息也成功
2. 操作数据库失败，不会向MQ中投递消息
3. 操作数据库成功，但是向MQ中投递消息时失败，向外抛出异常。数据库操作回滚

对于上面几种情况，问题都不大。那么我们分析消费端的问题

1. 消息出队列以后，消费者对应的业务操作要执行成功。如果执行失败，消息不能失效或者丢失。需要保证消息和业务操作一致
2. 尽量避免消息重复消费，如果重复消费，也不能影响业务的执行结果

• 对于第一个问题，如何保证消息不丢失
  现在用的比较普遍的MQ都具有持久化消息的功能，如果消费者宕机或者消费失败，都可以执行重试机制

• 对于如何避免消息的重复消费
  (1) 保证消费者的幂等性；也就是说如果队列中的消息因为网络异常导致发送多次的情况下，仍然需要保证消息被应用多次与应用一次产生的效果是一样的
  (2) 通过消费日志表来记录消费状态；增加一个message_applied（msg_id）表，用来记录已经被成功应用的消息。在目标系统执行更新操作之前，先检测该消息是否已经被消费过，消费完成后通过本地事务控制来更新这个“消费表状态”，用来避免消息重复消费问题

上面这种方式是非常经典的实现，基本避免了分布式事务，实现了“最终一致性”。
各大知名的电商平台和互联网公司，几乎都是采用类似的设计思路来实现“最终一致性”的。这种方式适合的业务场景广泛，而且比较可靠。不过这种方式技术实现的难度比较大

保证最终一致性的模式

1.查询模式

任何一个服务操作都提供一个查询接口，用来向外部输出操作执行的状态。服务操作的使用方可以通过接口得知服务操作执行的状态，然后根据不同状态做不同的处理操作，为了能够实现查询，每个服务操作都需要有唯一的流水号

2.补偿模式

有了查询模式，我们就能够得知操作所处的具体状态，如果整个操作处于不正常状态，我们需要修正操作中的出现问题的子操作。也许是要重新执行，或者取消已完成的操作。通过修复使得整个分布式系统达到最终一致。这个过程就是补偿模式

补偿模式根据发起形式分为以下几种

• 自动恢复：通过对发生失败操作的接口自动重试或者回滚已经完成的操作
• 通知运营：如果程序无法自动完成恢复，则通过运营人员手动进行补偿
• 通知技术：通过监控或者告警通知到技术人员，通过技术手段进行修复

X/OpenDTP模型的支付宝的DTS架构

DTS(Distributed Transaction Service)框架是由支付宝在X/OpenDTP模型的基础上改进的一个设计，定义了类似2PC的标准两阶段接口，业务系统只需要实现对应的接口就可以使用DTS的事务功能。DTS最大的特点是放宽了数据库的强一致约束，保证了数据的最终一致性。

具体的流程是

TCC分为三个阶段TRYING-CONFIRMING-CANCELING。每个阶段做不同的处理。

TRYING、CONFIRMING、CANCELIING大致可以理解为SQL事务中的LOCK、COMMIT、ROLLBACK

1. TRYING 阶段主要是对业务系统做检测及资源预留
2. CONFIRMING 阶段主要是对业务系统做确认提交，TRYING 阶段执行成功并开始执行 CONFIRMING阶段时，默认 CONFIRMING 阶段是不会出错的。即：只要 TRYING 成功，CONFIRMING 一定成功。
3. CANCELING 阶段主要是在业务执行错误，需要回滚的状态下执行的业务取消，预留资源释放。
   以上所有的操作需要满足幂等性，幂等性的实现方式可以是：
   - 1 .通过唯一键值做处理，即每次调用的时候传入唯一键值，通过唯一键值判断业务是否被操作，如果已被操作，则不再重复操作
   -2.通过状态机处理，给业务数据设置状态，通过业务状态判断是否需要重复执行

如何更通俗的理解TCC事务模型

• 支付系统接收到会员的支付请求后，需要扣减会员账户余额、增加会员积分（暂时假设需要同步实现）增加商户账户余额
• 会员系统、商户系统、积分系统是独立的三个子系统，无法通过传统的事务方式进行处理。
  TRYING阶段：我们需要做的就是会员资金账户的资金预留，即：冻结会员账户的金额（订单金额）
  CONFIRMING阶段：我们需要做的就是会员积分账户增加积分余额，商户账户增加账户余额
  CANCELING阶段：该阶段需要执行的就是解冻释放我们扣减的会员余额

开源的tcc框架

tcc-transaction
bytetcc

最大努力通知型

做过支付宝交易接口的同学都知道，我们一般会在支付宝的回调页面和接口里，解密参数，然后调用系统中更新交易状态相关的服务，将订单更新为付款成功。同时，只有当我们回调页面中输出了success字样或者标识业务处理成功相应状态码时，支付宝才会停止回调请求。否则，支付宝会每间隔一段时间后，再向客户方发起回调请求，直到输出成功标识为止。

其实这就是一个很典型的补偿例子，跟一些MQ重试补偿机制很类似。

分布式事务的实现

JOTM(java open transaction manager)

Atomikos