RocketMQ（9）RocketMQ4.x分布式事务消息

1、分布式事务消息

• 什么是分布式事务

来源：单体应用—>拆分为分布式应用
一个接口需要调用多个服务，且操作不同的数据库，数据一致性难保障，

• 常见解决方案

2PC : 两阶段提交, 基于XA协议
TCC : Try、Confirm、Cancel

try尝试扣库存，confirm确认cancel回滚
下单：
事务消息最终一致性：
更多...

框架
GTS -> 开源 Fescar
地址：https://github.com/alibaba/fescar
LCN
地址：https://github.com/codingapi/tx-lcn

---

2、RocketMQ4.X分布式事务消息架构

• RocketMQ事务消息：

RocketMQ 提供分布事务功能，通过 RocketMQ 事务消息能达到分布式事务的最终一致

• 半消息Half Message:

暂不能投递的消息(暂不能消费)，Producer已经将消息成功发送到了Broker端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半消息

• 消息回查:

由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列 RocketMQ 服务端通过扫描发现某条消息长期处于“半消息”时，需要主动向消息生产者询问该消息的最终状态（Commit 或是 Rollback），该过程即消息回查。

• 整体交互流程

（1）Producer向broker端发送消息。
（2）服务端将消息持久化成功之后，向发送方 ACK 确认消息已经发送成功，此时消息为半消息。
（3）发送方开始执行本地事务逻辑。
（4）发送方根据本地事务执行结果向服务端提交二次确认（Commit 或是 Rollback），服务端收到 Commit 状态则将半消息标记为可投递，订阅方最终将收到该消息；服务端收到 Rollback 状态则删除半消息，订阅方将不会接受该消息
（5）在断网或者是应用重启的特殊情况下，上述步骤 4 提交的二次确认最终未到达服务端，经过固定时间后服务端将对该消息发起消息回查
（6）发送方收到消息回查后，需要检查对应消息的本地事务执行的最终结果
（7）发送方根据检查得到的本地事务的最终状态再次提交二次确认，服务端仍按照步骤 4 对半消息进行操作

• RocketMQ事务消息的状态

COMMIT_MESSAGE: 提交事务消息，消费者可以消费此消息
ROLLBACK_MESSAGE：回滚事务消息，消息会在broker中删除，消费者不能消费
UNKNOW：Broker需要回查确认消息的状态

• 关于事务消息的消费

事务消息consumer端的消费方式和普通消息是一样的，RocketMQ能保证消息能被consumer收到（消息重试等机制，最后也存在consumer消费失败的情况，这种情况出现的概率极低）。

---

3、RocketMQ分布式事务消息实战

• TransactionMQProducer基础介绍和使用
• 自定义线程池和消息生产者结合

//监听器 ,执行本地事务
TransactionListener transactionListener = new TransactionListenerImpl();

//创建事务消息发送者
TransactionMQProducer producer = new TransactionMQProducer("unique_group_name");

//创建自定义线程池
//@param corePoolSize    池中所保存的核心线程数
//@param maximumPoolSize    池中允许的最大线程数
//@param keepActiveTime    非核心线程空闲等待新任务的最长时间
//@param timeunit    keepActiveTime参数的时间单位
//@param blockingqueue    任务队列
ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(2000), new ThreadFactory() {
            @Override
            public Thread newThread(Runnable r) {
                Thread thread = new Thread(r);
                thread.setName("client-transaction-msg-check-thread");
                return thread;
            }
        });
        
//设置producer基本属性        
producer.setNamesrvAddr(JmsConfig.NAME_SERVER);
producer.setExecutorService(executorService);
producer.setTransactionListener(transactionListener);
producer.start();

TransactionListener使用

• executeLocalTransaction 执行本地事务
• checkLocalTransaction 回查消息，要么commit 要么rollback，reconsumeTimes不生效

 
注意点：TransactionMQProducer 的groupName要唯一，不能和普通的producer一样
 
本地访问路径：http://localhost:8081/api/v1/pay_cb?tag=xdclass222&otherParam=2

@Component
public class TransactionProducer {

    private String producerGroup = "trac_producer_group";

    //事务监听器
    private TransactionListener transactionListener = new TransactionListenerImpl();

    private TransactionMQProducer producer = null;


    //一般自定义线程池的时候，需要给线程加个名称

    private ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS,
            new ArrayBlockingQueue<Runnable>(2000), new ThreadFactory() {
        @Override
        public Thread newThread(Runnable r) {
            Thread thread = new Thread(r);
            thread.setName("client-transaction-msg-check-thread");
            return thread;
        }

    });

    public TransactionProducer(){

        producer = new TransactionMQProducer(producerGroup);

        producer.setNamesrvAddr(JmsConfig.NAME_SERVER);

        producer.setTransactionListener(transactionListener);

        producer.setExecutorService(executorService);

        //指定NameServer地址，多个地址以 ; 隔开

        start();
    }

    public TransactionMQProducer getProducer(){
        return this.producer;
    }

    /**
     * 对象在使用之前必须要调用一次，只能初始化一次
     */
    public void start(){
        try {
            this.producer.start();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
    }


    /**
     * 一般在应用上下文，使用上下文监听器，进行关闭
     */
    public void shutdown(){
        this.producer.shutdown();
    }


}





class TransactionListenerImpl implements  TransactionListener{

    @Override
    public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
        return null;
    }

    @Override
    public LocalTransactionState checkLocalTransaction(MessageExt msg) {
        return null;
    }
}

@RestController
public class PayController {

    @Autowired
    private TransactionProducer transactionMQProducer;


    @RequestMapping("/api/v1/pay_cb")
    public Object callback( String tag, String otherParam ) throws Exception {

            Message message = new Message(JmsConfig.TOPIC, tag, tag+"_key",tag.getBytes());



            SendResult sendResult =  transactionMQProducer.getProducer().
                    sendMessageInTransaction(message, otherParam);//执行1、2步


            System.out.printf("发送结果=%s, sendResult=%s \n", sendResult.getSendStatus(), sendResult.toString());

            return new HashMap<>();
    }


}

---

实现之前的TransactionListener   （做二次确认）

class TransactionListenerImpl implements  TransactionListener{

    @Override
//第三部进行确认操作
    public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {

        System.out.println("====executeLocalTransaction=======");
        String body = new String(msg.getBody());
        String key = msg.getKeys();
        String transactionId = msg.getTransactionId();
        System.out.println("transactionId="+transactionId+", key="+key+", body="+body);
        // 执行本地事务begin TODO


        // 执行本地事务end TODO


        int status = Integer.parseInt(arg.toString());

        //二次确认消息，然后消费者可以消费
//步骤4
        if(status == 1){
            return LocalTransactionState.COMMIT_MESSAGE;
        }
//步骤4
        //回滚消息，broker端会删除半消息
        if(status == 2){
            return LocalTransactionState.ROLLBACK_MESSAGE;
        }
//unknow
        //broker端会进行回查消息，再或者什么都不响应
        if(status == 3){
            return LocalTransactionState.UNKNOW;
        }



        return null;
    }

   

broker会根据statues的值做相应的响应，

1：确认，之后consumer进行消费

2：回滚，broker中会将该消息删除，就不能够消费了

3：回查，会回调下面的方法进行状态的检查

                要么成功，之后进行消费

                要么失败，回滚

 

消息回查也能得到相应的消息

要么成功要么失败回滚

 @Override
    public LocalTransactionState checkLocalTransaction(MessageExt msg) {

        System.out.println("====checkLocalTransaction=======");
        String body = new String(msg.getBody());
        String key = msg.getKeys();
        String transactionId = msg.getTransactionId();
        System.out.println("transactionId="+transactionId+", key="+key+", body="+body);

        //要么commit 要么rollback

        //可以根据key去检查本地事务消息是否完成


        return LocalTransactionState.COMMIT_MESSAGE;
    }

---

sendMessageInTransaction源码

---

---

---