悟了,原来这才是分布式事务的正确打开方式

2,TCC解决方案

=========

框架名称

Github地址

tcc-transaction

https://github.com/changmingxie/tcc-transaction

Hmily

https://github.com/yu199195/hmily

ByteTCC

https://github.com/liuyangming/ByteTCC

EasyTransaction

https://github.com/QNJR-GROUP/EasyTransaction

3,TCC需要注意的问题

============

a)空回滚

=====

在没有调用 TCC 资源 Try 方法的情况下,调用了二阶段的 Cancel 方法,Cancel 方法需要 识别出这是一个空回滚 ,然后直接返回成功。

出现原因:是当一个分支事务所在服务宕机或网络异常,分支事务调用记录为失败,这个时候其实是没有执行Try阶段,当故障恢复后,分布式事务进行回滚则会调用二阶段的Cancel方法,从而形成空回滚。

解决方法:识别出这个空回滚。需要知道一阶段是否执行,如果执行了,那就是正常回滚;如果没执行,那就是空回滚。前面已经说过TM在发起全局事务时生成全局事务记录,全局事务ID贯穿整个分布式事务调用链条。再额外增加一张分支事务记录表,其中有全局事务 ID 和分支事务 ID,第一阶段 Try 方法里会插入一条记录,表示一阶段执行了。

//在cancel中cancel空回滚处理,如果try没有执行,cancel不允许执行

if(accountInfoDao.isExistTry(transId)<=0){

log.info(“bank1 空回滚处理,try没有执行,不允许cancel执行,xid:{}”,transId);

return ;

}

b)幂等

====

为了保证TCC二阶段提交重试机制不会引发数据不一致,要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等,这样不会重复使用或者释放资源。如果幂等控制没有做好,很有可能导致数据不一致等严重问题。

//当前是在try中进行幂等判断 判断local_try_log表中是否有try日志记录,如果有则不再执行

if(accountInfoDao.isExistTry(transId)>0){

log.info(“bank1 try 已经执行,无需重复执行,xid:{}”,transId);

return ;

}

c)悬挂

====

悬挂就是对于一个分布式事务,其二阶段 Cancel 接口比 Try 接口先执行。

出现原因:RPC 调用分支事务try时,先注册分支事务,再执行RPC调用,如果此时 RPC 调用的网络发生拥堵,通常 RPC 调用是有超时时间的, RPC 超时 以后,TM就会通知RM 回滚 该分布式事务,可能回滚完,RPC 请求才到达参与者真正执行,而一个 Try 方法预留的业务资源。

解决思路:如果二阶段执行完成,那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下, “分支事务记录”表中是否已经有二阶段事务记录 ,如果有则不执行Try。

//try悬挂处理,如果cancel、confirm有一个已经执行了,try不再执行

if(accountInfoDao.isExistConfirm(transId)>0 || accountInfoDao.isExistCancel(transId)>0){

log.info(“bank1 try悬挂处理 cancel或confirm已经执行,不允许执行try,xid:{}”,transId);

return ;

}

4,Hmily

=======

项目源码: cloud-dtx-tcc

a)导入数据库

=======

sql文件下载地址为: dtx-tcc-sql

b)工程配置

======

涉及到分布式事务的工程均需要的配置

maven配置

=======

org.dromara

hmily‐springcloud

2.0.4‐RELEASE

application.yaml中添加hmily

org:

dromara:

hmily:

serializer: kryo

recoverDelayTime: 30

retryMax: 30

scheduledDelay: 30

scheduledThreadMax: 10

repositorySupport: db

#对于发起方的时候,把此属性设置为true。参与方为false。

started: true

hmilyDbConfig:

driverClassName: com.mysql.jdbc.Driver

url: jdbc:mysql://localhost:3306/hmily?useUnicode=true

username: root

password: 123456

注入hmily的配置Bean

@Bean

public HmilyTransactionBootstrap hmilyTransactionBootstrap(HmilyInitService hmilyInitService){

HmilyTransactionBootstrap hmilyTransactionBootstrap = new HmilyTransactionBootstrap(hmilyInitService);

hmilyTransactionBootstrap.setSerializer(env.getProperty(“org.dromara.hmily.serializer”));

hmilyTransactionBootstrap.setRecoverDelayTime(Integer.parseInt(env.getProperty(“org.dromara.hmily.recoverDelayTime”)));

hmilyTransactionBootstrap.setRetryMax(Integer.parseInt(env.getProperty(“org.dromara.hmily.retryMax”)));

hmilyTransactionBootstrap.setScheduledDelay(Integer.parseInt(env.getProperty(“org.dromara.hmily.scheduledDelay”)));

hmilyTransactionBootstrap.setScheduledThreadMax(Integer.parseInt(env.getProperty(“org.dromara.hmily.scheduledThreadMax”)));

hmilyTransactionBootstrap.setRepositorySupport(env.getProperty(“org.dromara.hmily.repositorySupport”));

hmilyTransactionBootstrap.setStarted(Boolean.parseBoolean(env.getProperty(“org.dromara.hmily.started”)));

HmilyDbConfig hmilyDbConfig = new HmilyDbConfig();

hmilyDbConfig.setDriverClassName(env.getProperty(“org.dromara.hmily.hmilyDbConfig.driverClassName”));

hmilyDbConfig.setUrl(env.getProperty(“org.dromara.hmily.hmilyDbConfig.url”));

hmilyDbConfig.setUsername(env.getProperty(“org.dromara.hmily.hmilyDbConfig.username”));

hmilyDbConfig.setPassword(env.getProperty(“org.dromara.hmily.hmilyDbConfig.password”));

hmilyTransactionBootstrap.setHmilyDbConfig(hmilyDbConfig);

return hmilyTransactionBootstrap;

}

启动类上添加注解

@ComponentScan({“org.dromara.hmily”})

c)调用方(bank1)实现

==============

代码实现: AccountInfoServiceImpl

try:

try幂等校验

try悬挂处理

检查余额是够扣减金额

扣减金额

confirm:

cancel

cancel幂等校验

cancel空回滚处理

增加可用余额

注意 :远程调用bank2时,在feign调用的接口上加注解 @Hmily

d)参与方(bank2)实现

==============

代码实现: AccountInfoServiceImpl

try:

confirm:

confirm幂等校验

正式增加金额

cancel:

e)小结

====

如果拿TCC事务的处理流程与2PC两阶段提交做比较, 2PC通常都是在跨库的DB层面 ,而 TCC则在应用层面的处理 ,需要通过业务逻辑来实现。这种分布式事务的实现方式的 优势 在于,可以让应用自己定义数据操作的粒度,使得 降低锁冲突、提高吞吐量 成为可能。

而 不足之处 则在于对应用的 侵入性非常强 ,业务逻辑的每个分支都需要实现try、confirm、cancel三个操作。此外,其 实现难度也比较大 ,需要按照网络状态、系统故障等不同的失败原因实现不同的回滚策略。

五、解决方案之可靠消息最终一致性

================

项目源码: cloud-dtx-txmsg

1,什么是可靠消息最终一致性

==============

可靠消息最终一致性方案是指当 事务发起方执行完成本地事务后并发出一条消息 , 事务参与方(消息消费者)一定能够接收消息并处理事务成功 ,此方案强调的是只要消息发给事务参与方最终事务要达到一致。

悟了!原来这才是分布式事务的正确打开方式

可靠消息需要解决的问题:

  • 本地事务与消息发送的原子性问题

  • //先发消息如果数据库操作错误,消息已经发送 begin transaction; //1.发送MQ //2.数据库操作 commit transation; //如果数据库超时,此时数据库回滚,但是消息可能也已经发送 begin transaction; //1.数据库操作 //2.发送MQ commit transation;

  • 事务参与方接受消息的可靠性

  • 事务参与方必须能够从消息队列接收到消息,如果接收消息失败可以重复接收消息。

  • 消息重复消费的问题

  • 由于网络2的存在,若某一个消费节点超时但是消费成功,此时消息中间件会重复投递此消息,就导致了消息的重 复消费。 要解决消息重复消费的问题就要实现事务参与方的方法幂等性。

2,RocketMQ事务消息方案

================

悟了!原来这才是分布式事务的正确打开方式

  • Producer 发送事务消息 :Producer (MQ发送方)发送事务消息至MQ Server,MQ Server将消息状态标记为Prepared( 预备状态 ),注意此时这条消息消费者(MQ订阅方)是 无法消费 到的。

  • MQ Server 回应消息 发

需要文中资料的朋友,可以加我\/信获取:vip1024b 备注Java

送成功 :MQ Server接收到Producer 发送给的消息则回应发送成功表示MQ已接收到消息。

  • Producer 执行 本地事务 :Producer 端执行业务代码逻辑,通过 本地数据库事务控制 。

  • 消息投递 :若Producer 本地事务 执行成功 则自动向MQServer发送 commit 消息,此时MQ订阅方(积分服务)即正常消费消息;若Producer 本地事务 执行失败 则自动向MQServer发送 rollback 消息,MQ Server接收到rollback消息后 将删除”增加积分消息“ 。 MQ订阅方(积分服务)消费消息, 消费成功则向MQ回应ack ,否则将重复接收消息。这里ack默认自动回应,即程序执行正常则自动回应ack。

  • 事务回查 :如果执行Producer端 本地事务过程中,执行端挂掉,或者超时 ,MQ Server将会不停的询问 同组的其他 Producer来获取事务执行状态 ,这个过程叫事务回查。MQ Server会根据事务回查结果来决定是否投递消息。

3,RocketMQ实现可靠消息最终一致性事务

=======================

a)SQL

=====

bank1

CREATE DATABASE bank1 CHARACTER

SET ‘utf8’ COLLATE ‘utf8_general_ci’;

DROP TABLE

IF EXISTS account_info;

CREATE TABLE account_info (

id BIGINT (20) NOT NULL AUTO_INCREMENT,

account_name VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘户 主姓名’,

account_no VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘银行 卡号’,

account_password VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘帐户密码’,

account_balance DOUBLE NULL DEFAULT NULL COMMENT ‘帐户余额’,

PRIMARY KEY (id) USING BTREE

) ENGINE = INNODB AUTO_INCREMENT = 5 CHARACTER

SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

INSERT INTO account_info

VALUES

(

2,

‘张三的账户’,

‘1’,

‘’,

10000

);

DROP TABLE

IF EXISTS de_duplication;

CREATE TABLE de_duplication (

tx_no VARCHAR (64) COLLATE utf8_bin NOT NULL,

create_time datetime (0) NULL DEFAULT NULL,

PRIMARY KEY (tx_no) USING BTREE

) ENGINE = INNODB CHARACTER

SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

View Code

bank2

CREATE DATABASE bank2 CHARACTER

SET ‘utf8’ COLLATE ‘utf8_general_ci’;

DROP TABLE

IF EXISTS account_info;

CREATE TABLE account_info (

id BIGINT (20) NOT NULL AUTO_INCREMENT,

account_name VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘户 主姓名’,

account_no VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘银行 卡号’,

account_password VARCHAR (100) CHARACTER

SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT ‘帐户密码’,

account_balance DOUBLE NULL DEFAULT NULL COMMENT ‘帐户余额’,

PRIMARY KEY (id) USING BTREE

) ENGINE = INNODB AUTO_INCREMENT = 5 CHARACTER

SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

INSERT INTO account_info

VALUES

(

3,

‘李四的账户’,

‘2’,

NULL,

0

);

CREATE TABLE de_duplication (

tx_no VARCHAR (64) COLLATE utf8_bin NOT NULL,

create_time datetime (0) NULL DEFAULT NULL,

PRIMARY KEY (tx_no) USING BTREE

) ENGINE = INNODB CHARACTER

SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

View Code

b)安装RocketMQ

============

c)工程配置

======

maven

org.apache.rocketmq

rocketmq-spring-boot-starter

2.0.2

properties配置

rocketmq.producer.group = producer_bank2

rocketmq.name‐server = 127.0.0.1:9876

d)bank1

=======

Service: AccountInfoServiceImpl

//两个方法

//1,向mq发送转账消息

//2,更新账户,扣减金额 (通过事务id保证幂等性)

Controller: AccountInfoController

//生成事务id,调用service的发消息接口

message: ProducerTxmsgListener

//两个方法executeLocalTransaction和checkLocalTransaction

//事务消息发送后的回调方法。此时保证本地事务,调用Service扣减金额同时将消息改为COMMIT(可消费状态),如果捕获异常,将消息改为ROLLBACK回滚

//事务回查。查询是否在调用方已经处理,如果已经处理需修改消息为COMMIT可消费,否则就是UNKOWN状态。

e)bank2

=======

Service: AccountInfoServiceImpl

//更新账户bank2,增加金额。(通过事务id保证幂等性)

message: TxmsgConsumer

======================

//监听bank1发送的消息topic,调用Service增加金额

4,总结

====

可靠消息最终一致性就是 保证消息从生产方经过消息中间件传递到消费方 的一致性,本案例使用了RocketMQ作为消息中间件,RocketMQ主要解决了两个功能:

  • 本地事务与消息发送的原子性问题。

  • 事务参与方接收消息的可靠性。

可靠消息最终一致性事务适合 执行周期长且实时性要求不高的场景 。引入消息机制后,同步的事务操作变为基于消息执行的 异步 操作, 避免了分布式事务中的同步阻塞操作的影响,并实现了两个服务的 解耦 。

六、解决方案之最大努力通知

=============

源码: cloud-dtx-notify

1,什么是最大努力通知

===========

发起通知方通过一定的机制 最大努力将业务处理结果通知到接收方 。

  • 有一定的 消息重复通知机制 。因为接收通知方可能没有接收到通知,此时要有一定的机制对消息重复通知。

  • 消息校对机制 。如果尽最大努力也没有通知到接收方,或者接收方消费消息后要再次消费,此时可 由接收方主动向通知方查询消息 信息来满足需求。

2,最大努力通知与可靠消息一致性的异同

===================

  • 思想不同:可靠消息一致性,发起 通知方需要保证将消息发出去 ,并且将消息发到接收通知方,消息的可靠性关键由发起通知方来保证。最大努力通知,发起通知方尽最大的努力将业务处理结果通知为接收通知方,但是可能消息接收不到,此时需要接收通知方主动调用发起通知方的接口查询业务处理结果, 通知的可靠性关键在接收通知方 。

  • 业务场景不同:可靠消息一致性关注的是 交易过程的事务一致 ,以异步的方式完成交易。最大努力通知关注的是 交易后的通知事务 ,即将交易结果可靠的通知出去。

  • 技术解决方向不同:可靠消息一致性要解决 消息从发出到接收的一致性 ,即消息发出并且被接收到;最大努力通知无法保证消息从发出到接收的一致性,只提供消息接收的可靠性机制。可靠机制是, 最大努力的将消息通知给接收方 ,当消息无法被接收方接收时,由 接收方主动查询消息 (业务处理结果)。

3,解决方案

======

a)解决方案一:

悟了!原来这才是分布式事务的正确打开方式

具体流程:

  • 发起通知方将通知发给MQ。使用普通消息机制将通知发给MQ。

  • 接收通知方监听 MQ。

  • 接收通知方接收消息,业务处理完成回应ack。

  • 接收通知方若 没有回应ack则MQ会重复通知 。 MQ会按照间隔1min、5min、10min、30min、1h、2h、5h、10h的方式,逐步拉大通知间隔 (如果MQ采用rocketMq,在broker中可进行配置),直到达到通知要求的时间窗口上限。

  • 接收通知方可通过消息校对接口来校对消息的一致性。

b)解决方案二:

与方案1不同的是 应用程序向接收通知方发送通知 ,如下图:

悟了!原来这才是分布式事务的正确打开方式

具体流程:

  • 发起通知方将通知发给MQ:使用可靠消息一致方案中的事务消息保证 本地事务与消息的原子性 ,最终将通知先发给MQ。

  • 通知程序监听 MQ,接收MQ的消息。 通知程序若没有回应ack则MQ会重复通知。

  • 通知程序 通过互联网接口协议(如http、webservice) 调用接收通知方案接口 ,完成通知。 通知程序调用接收通知方案接口成功就表示通知成功,即消费MQ消息成功,MQ将不再向通知程序投递通知消息。

  • 接收通知方可通过消息校对接口来校对消息的一致性。

c)两种方案比较

  • 方案1中接收通知方与MQ接口,即接收通知方案监听 MQ,此方案主要 应用与内部应用之间的通知 。

  • 方案2中由通知程序与MQ接口,通知程序监听MQ,收到MQ的消息后由通知程序通过互联网接口协议调用接收通知方。此方案主要应用于 外部应用之间的通知 ,例如支付宝、微信的支付结果通知。

4,最大努力通知实现

==========

a)sql

=====

bank1_pay.sql

CREATE DATABASE /!32312 IF NOT EXISTS/bank1_pay /*!40100 DEFAULT CHARACTER SET utf8 */;

Java核心架构进阶知识点

面试成功其实都是必然发生的事情,因为在此之前我做足了充分的准备工作,不单单是纯粹的刷题,更多的还会去刷一些Java核心架构进阶知识点,比如:JVM、高并发、多线程、缓存、Spring相关、分布式、微服务、RPC、网络、设计模式、MQ、Redis、MySQL、设计模式、负载均衡、算法、数据结构、kafka、ZK、集群等。而这些也全被整理浓缩到了一份pdf——《Java核心架构进阶知识点整理》,全部都是精华中的精华,本着共赢的心态,好东西自然也是要分享的

image

image

image

内容颇多,篇幅却有限,这就不在过多的介绍了,大家可根据以上截图自行脑补
互联网接口协议(如http、webservice) 调用接收通知方案接口 ,完成通知。 通知程序调用接收通知方案接口成功就表示通知成功,即消费MQ消息成功,MQ将不再向通知程序投递通知消息。

  • 接收通知方可通过消息校对接口来校对消息的一致性。

c)两种方案比较

  • 方案1中接收通知方与MQ接口,即接收通知方案监听 MQ,此方案主要 应用与内部应用之间的通知 。

  • 方案2中由通知程序与MQ接口,通知程序监听MQ,收到MQ的消息后由通知程序通过互联网接口协议调用接收通知方。此方案主要应用于 外部应用之间的通知 ,例如支付宝、微信的支付结果通知。

4,最大努力通知实现

==========

a)sql

=====

bank1_pay.sql

CREATE DATABASE /!32312 IF NOT EXISTS/bank1_pay /*!40100 DEFAULT CHARACTER SET utf8 */;

Java核心架构进阶知识点

面试成功其实都是必然发生的事情,因为在此之前我做足了充分的准备工作,不单单是纯粹的刷题,更多的还会去刷一些Java核心架构进阶知识点,比如:JVM、高并发、多线程、缓存、Spring相关、分布式、微服务、RPC、网络、设计模式、MQ、Redis、MySQL、设计模式、负载均衡、算法、数据结构、kafka、ZK、集群等。而这些也全被整理浓缩到了一份pdf——《Java核心架构进阶知识点整理》,全部都是精华中的精华,本着共赢的心态,好东西自然也是要分享的

[外链图片转存中…(img-9cJgx5On-1716344470418)]

[外链图片转存中…(img-Qgcc0LwO-1716344470419)]

[外链图片转存中…(img-5c7I8H5H-1716344470419)]

内容颇多,篇幅却有限,这就不在过多的介绍了,大家可根据以上截图自行脑补

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值