Springboot+RocketMQ（7）:实现事务消息

最新推荐文章于 2024-03-01 17:53:07 发布

EvanDeveloper

最新推荐文章于 2024-03-01 17:53:07 发布

阅读量1.8k

点赞数 2

分类专栏： MQ 文章标签： spring boot java-rocketmq rocketmq

原文链接：https://blog.csdn.net/qq_26383975/article/details/125679425

版权

MQ 专栏收录该内容

8 篇文章 3 订阅

订阅专栏

一、概念

1.分布式事务

分布式事务通俗来说，一次操作由若干分支组成，这些分支操作分属于不同的应用，分布在不同的服务器上，分布式事务需要保证这些操作要么全部成功，要么全部失败，分支事务与普通事务一样，就是为了保证操作结果的一致性。

2.事务消息

rocketMQ 事务消息是指应用本地事务和发送消息操作可以被定义到全局事务中，要么同时成功，要么同时失败。

3.半事务消息

暂不能投递的消息，生产者已经成功地将消息发送到了消息队列RocketMQ版服务端，但是消息队列RocketMQ版服务端未收到生产者对消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半事务消息。

4.消息回查

由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列RocketMQ版服务端通过扫描发现某条消息长期处于“半事务消息”时，需要主动向消息生产者询问该消息的最终状态（Commit或是Rollback），该询问过程即消息回查。

5.本地事务状态

生产者回调操作执行的结果为本地事务状态。其会发送给TC，而TC会在发送给TM，TM会根据TC发送过来的本地事务状态来决定全局事务确认指令。

RocketMQ 的事务消息分为3种状态，分别是提交状态、回滚状态、未知状态。
TransactionStatus.CommitTransaction: 提交事务，它允许消费者消费此消息。
TransactionStatus.RollbackTransaction: 回滚事务，它代表该消息将被删除，不允许被消费。
TransactionStatus.Unknown: 未知状态，它代表需要检查消息队列来确定状态。

二、RocketMQ 事务消息的原理

RocketMQ 事务消息的执行流程如下：
在这里插入图片描述
事务消息发送步骤如下：

①生产者将半事务消息发送至消息队列RocketMQ版服务端。
②消息队列RocketMQ版服务端将消息持久化成功之后，向生产者返回Ack确认消息已经发送成功，此时消息为半事务消息。
③生产者开始执行本地事务逻辑。
④生产者根据本地事务执行结果向服务端提交二次确认结果（Commit或是Rollback），服务端收到确认结果后处理逻辑如下：

二次确认结果为Commit：服务端将半事务消息标记为可投递，并投递给消费者。
二次确认结果为Rollback：服务端将回滚事务，不会将半事务消息投递给消费者。
⑤在断网或者是生产者应用重启的特殊情况下，若服务端未收到发送者提交的二次确认结果，或服务端收到的二次确认结果为Unknown未知状态，经过固定时间后，服务端将对消息生产者即生产者集群中任一生产者实例发起消息回查。

事务消息回查步骤如下：
(1)生产者收到消息回查后，需要检查对应消息的本地事务执行的最终结果。
(2)生产者根据检查得到的本地事务的最终状态再次提交二次确认，服务端仍按照步骤4对半事务消息进行处理。

备注：本地事务的回滚依赖于本地DB的ACID特性，订阅方的成功消费由 MQ Server 的失败重试机制进行保证。

三、使用规则

1.生产消息规则

事务消息发送完成本地事务后，可在execute方法中返回以下三种状态：

TransactionStatus.CommitTransaction:提交事务，允许消费者消费该消息。
TransactionStatus.RollbackTransation:回滚事务，消息将被丢弃不允许消费。
TransactionStatus.Unknow:暂时无法判断状态，等待固定时间以后消息队列RocketMQ版服务端根据回查规则向生产者进行消息回查

通过ONSFactory.createTransactionProducer创建事务消息的Producer时必须指定LocalTransactionChecker的实现类，处理异常情况下事务消息的回查。

回查规则：本地事务执行完成后，若消息队列RocketMQ版服务端收到的本地事务返回状态为TransactionStatus.Unknow，或生产者应用退出导致本地事务未提交任何状态。则消息队列RocketMQ版服务端会向消息生产者发起事务回查，第一次回查后仍未获取到事务状态，则之后每隔一段时间会再次回查。

回查间隔时间：系统默认每隔30秒发起一次定时任务，对未提交的半事务消息进行回查，共持续12小时。
第一次消息回查最快时间：该参数支持自定义设置。若指定消息未达到设置的最快回查时间前，系统默认每隔30秒一次的回查任务不会检查该消息。

2.消费消息规则

事务消息的Group ID不能与其他类型消息的Group ID共用。与其他类型的消息不同，事务消息有回查机制，回查时消息队列RocketMQ版服务端会根据Group ID去查询生产者客户端。

四、Springboot 整合 RocketMQ 实现事务消息

4.1 启动 RocketMQ 服务端

RocketMQ的安装与部署请参考这篇文章：https://blog.csdn.net/qq_26383975/article/details/125337809

4.2 添加rocketmq依赖

创建Springboot项目，添加rockermq 依赖

<!--rocketMq依赖-->
<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.2.1</version>
</dependency>

4.3 配置rocketmq

# 端口
server:
  port: 8083

# 配置 rocketmq
rocketmq:
  name-server: 127.0.0.1:9876
  #生产者
  producer:
    #生产者组名，规定在一个应用里面必须唯一
    group: group1
    #消息发送的超时时间 默认3000ms
    send-message-timeout: 3000
    #消息达到4096字节的时候，消息就会被压缩。默认 4096
    compress-message-body-threshold: 4096
    #最大的消息限制，默认为128K
    max-message-size: 4194304
    #同步消息发送失败重试次数
    retry-times-when-send-failed: 3
    #在内部发送失败时是否重试其他代理，这个参数在有多个broker时才生效
    retry-next-server: true
    #异步消息发送失败重试的次数
    retry-times-when-send-async-failed: 3

4.4 创建生产者

生产者端代码的核心逻辑：生产者向RocketMQ投递事务消息，并执行本地事务，最后将本地事务的执行结果通知到Rocket MQ。

通过rocketMQTemplate的sendMessageInTransaction方法发送事务消息

package com.example.springbootrockettransation.controller;

import org.apache.rocketmq.client.producer.TransactionSendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.spring.core.RocketMQTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.messaging.support.MessageBuilder;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

import java.nio.charset.StandardCharsets;

/**
 * 发送事务消息
 * @author qzz
 */
@RestController
public class RocketMQTransationController {

    @Autowired
    private RocketMQTemplate rocketMQTemplate;

    /**
     * 发送事务消息
     * @param msg
     */
    @RequestMapping("/sendTransationMessage")
    public void sendTransationMessage(@RequestParam("msg") String msg){
        //发送事务消息:采用的是sendMessageInTransaction方法，返回结果为TransactionSendResult对象，该对象中包含了事务发送的状态、本地事务执行的状态等
        //参数一：topic   如果想添加tag,可以使用"topic:tag"的写法
        //参数二：消息内容
        //参数三：
        TransactionSendResult result = rocketMQTemplate.sendMessageInTransaction("test-topic-transation"
                , MessageBuilder.withPayload(msg).build(),null);
        //发送状态
        String sendStatus = result.getSendStatus().name();
        //本地事务执行状态
        String localState = result.getLocalTransactionState().name();
        System.out.println("发送状态:"+sendStatus+";本地事务执行状态"+localState);

    }
}

说明：发送事务消息采用的是sendMessageInTransaction方法，返回结果为TransactionSendResult对象，该对象中包含了事务发送的状态、本地事务执行的状态等

4.5 创建消费者

package com.example.springbootrockettransation.config;

import org.apache.rocketmq.spring.annotation.MessageModel;
import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.springframework.stereotype.Service;

/**
 * 消费事务消息
 * 配置RocketMQ监听
 * @author qzz
 */
@Service
@RocketMQMessageListener(consumerGroup = "test-transation",topic = "test-topic-transation",messageModel = MessageModel.CLUSTERING)
public class RocketMQTransationListener implements RocketMQListener<String> {

    @Override
    public void onMessage(String s) {
        System.out.println("消费消息 事务消息："+s);
    }
}

说明：发送事务消息的消费者与普通的消费者一样没有太大的区别

4.6 生产者消息监听器

发送事务消息除了生产者和消费者以外，我们还需要创建生产者的消息监听器，来监听本地事务执行的状态和检查本地事务状态。

package com.example.springbootrockettransation.config;

import org.apache.rocketmq.client.producer.LocalTransactionState;
import org.apache.rocketmq.spring.annotation.RocketMQTransactionListener;
import org.apache.rocketmq.spring.core.RocketMQLocalTransactionListener;
import org.apache.rocketmq.spring.core.RocketMQLocalTransactionState;
import org.springframework.messaging.Message;
import org.springframework.stereotype.Component;

import java.nio.charset.StandardCharsets;

/**
 * 生产者消息监听器：
 *    用于监听本地事务执行的状态和检查本地事务状态。
 * @author qzz
 */
@RocketMQTransactionListener
public class TransactionMsgListener implements RocketMQLocalTransactionListener {

    /**
     * 执行本地事务（在发送消息成功时执行）
     * @param message
     * @param o
     * @return commit or rollback or unknown
     */
    @Override
    public RocketMQLocalTransactionState executeLocalTransaction(Message message, Object o) {
        //TODO 开启本地事务（实际就是我们的jdbc操作）
        //TODO 执行业务代码（例如插入订单数据库表等）
        //TODO 提交或回滚本地事务

        //模拟一个处理结果
        int index=8;
        /**
         * 模拟返回事务状态
         */
        switch (index){
            case 1:
                //处理业务
                String jsonStr = new String((byte[]) message.getPayload(), StandardCharsets.UTF_8);
                System.out.println("本地事务回滚，回滚消息，"+jsonStr);
                //返回ROLLBACK状态的消息会被丢弃
                return RocketMQLocalTransactionState.ROLLBACK;
            case 3:
                //返回UNKNOW状态的消息会等待Broker进行事务状态回查
                return RocketMQLocalTransactionState.UNKNOWN;
            default:
                System.out.println("事务提交，消息正常处理");
                //返回COMMIT状态的消息会立即被消费者消费到
                return RocketMQLocalTransactionState.COMMIT;
        }
    }

    /**
     * 检查本地事务的状态
     * @param message
     * @return
     */
    @Override
    public RocketMQLocalTransactionState checkLocalTransaction(Message message) {
        String jsonStr = new String((byte[]) message.getPayload(), StandardCharsets.UTF_8);
        System.out.println("调用回查本地事务接口："+jsonStr);
        return RocketMQLocalTransactionState.COMMIT;
    }
}

说明：定义本地事务处理类，实现RocketMQLocalTransactionListener接口，以及加上@RocketMQTransactionListener注解，这个类似方法的调用是异步的；

executeLocalTransaction方法，当我们处理完业务后，可以根据业务处理情况，返回事务执行状态，有rollback, commit or unknown三种，分别是回滚事务，提交事务和未知；根据事务消息执行流程，如果返回rollback，则直接丢弃消息；如果是返回commit，则消费消息；如果是unknow，则继续等待，然后调用checkLocalTransaction方法，最多重试15次，超过了默认丢弃此消息；

checkLocalTransaction方法，是当MQ Server未得到MQ发送方应答，或者超时的情况，或者应答是unknown的情况，调用此方法进行检查确认，返回值和上面的方法一样；

注意：Spring Boot2.0的版本之后，@RocketMQTransactionListener 已经没有了txProducerGroup属性，且sendMessageInTransaction方法也将其移除。所以在同一项目中只能有一个@RocketMQTransactionListener，不能出现多个，否则会报如下错误：

java.lang.IllegalStateException: rocketMQTemplate already exists RocketMQLocalTransactionListener

五、事务消息测试

1.正常测试

启动服务，在postman输入“http://localhost:8083/sendTransationMessage?msg=rocketmq 事务消息001”,点击发送：
在这里插入图片描述
通过执行日志，可以看出，执行成功后，消息执行成功返回的结果为SEND_OK，本地事务执行的状态为COMMIT_MESSAGE。

2.回滚测试

修改下本地事务执行的方法，让其走回滚流程：
在这里插入图片描述
重启项目进行测试，执行日志如下：

从执行的结果可以看出，消息执行成功返回的结果为SEND_OK，本地事务执行的状态为:ROLLBACK_MESSAGE，直接丢弃消息，所以消费端无法消费此消息。

3.位置事务状态测试

修改下本地事务执行的方法，让其走未知状态的相关流程：
在这里插入图片描述

执行如下：
生产者端发送half消息到MQ-SERVER，然后异步执行executeLocalTransaction方法，返回unknown，MQ-SERVER接收到unknown后，继续等待，然后再执行checkLocalTransaction确认，返回commit，MQ-SERVER得到commit后，消费端才可以消费消息。

EvanDeveloper

关注

2
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
Springboot+RocketMQ（7）:实现事务消息

分布式事务通俗来说，一次操作由若干分支组成，这些分支操作分属于不同的应用，分布在不同的服务器上，分布式事务需要保证这些操作，分支事务与普通事务一样，就是为了保证操作结果的一致性。
复制链接

扫一扫