RocketMQ源码深入剖析（五）

最新推荐文章于 2023-12-20 13:04:27 发布
最新推荐文章于 2023-12-20 13:04:27 发布
阅读量33 收藏
点赞数
文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40885642/article/details/134526518
版权

RocketMQ源码深入剖析

9 分布式事务消息源码分析

9.1 什么是分布式事务？

业务场景：用户A转账100元给用户B，这个业务比较简单，具体的步骤：
1、用户A的账户先扣除100元
2、再把用户B的账户加100元

image.png

如果在同一个数据库中进行，事务可以保证这两步操作，要么同时成功，要么同时不成功。这样就保证了转账的数据一致性。
但是在微服务架构中，因为各个服务都是独立的模块，都是远程调用，都没法在同一个事务中，都会遇到分布式事务问题。

9.2 RocketMQ的解决方案

image.png

RocketMQ采用两阶段提交，把扣款业务和加钱业务异步化，在A系统扣款成功后，发送“扣款成功消息”到消息中间件；B系统中加钱业务订阅“扣款成功消息”，再对用户进行加钱。

9.2.1 解决方案的问题

在哪个阶段向RocketMQ发送消息？

1、先扣款后再向RocketMQ发消息

先扣款再发送消息，万一发送消息超时了(MQ中有可能成功，有可能失败)，那这个状态就很难判断了

2、先向RocketMQ发消息后再扣款

扣款成功消息发送成功，但是如果本地扣款业务失败了，那消息已经发给MQ了，第二阶段的加钱就会执行成功。

所以我们发现，无论是哪种方案，处理起来都会有问题。

其实仔细分析下，问题的关键点，就是RocketMQ改变不了消息发送者的事务状态。所以RocketMQ的分布式事务方案进行了优化。

9.3 RocketMQ的分布式事务方案

image.png

所以RocketMQ在分布式事务中引入了半事务及事务回查机制。

半事务：
发一个消息到rocketmq，但该消息只储存在commitlog中，但consumeQueue中不可见，也就是消费端（订阅端）无法看到此消息。

事务回查：

RocketMq会定时遍历commitlog中的半事务消息，这个事务回查机制就可以站在 RocketMQ的角度参与消息发送者的事务中。

9.4 RocketMQ的分布式事务案例代码

image.png

这个是分布式事务的生产者，完成了半事务的发送。

通过事务回查，如果在TransactionListenerImpl类executeLocalTransaction方法中，如果本地事务执行成功，则提交commit_message,消费端即可消费消息

image.png

如果有一些比较耗时的操作导致，不能在这个步骤确认的话，可以提交UNKNOW，交给定时的任务回查来处理

image.png

image.png另外一点，如果担心生产者发生故障导致分布式事务的问题话，定时事务回查是可以在生产者群组中做的。

我们可以做一个这样的案例，一个生产者1，一个生产者2，消费发送时的分组是一样，都使用分布式事务消息。

生产者1发生故障了，消息状态还是一个UNKNOW状态，只要生产者2还存活，生产者2就可以帮助生产者1完成事务回查的确认，从而不会有单点故障问题。

image.png

image.png

image.png

image.png

image.png

image.png

image.png

9.5 分布式事务源码分析

从分布式事务的流程上，我们分析源码，可以从消息发送，确认/回滚 ，回查三个方面。

image.png

9.5.1 消息发送源码分析

Producer

image.png

image.png

image.png

Broker

RocketMQ使用Netty处理网络，broker收到消息写入的请求就会进入SendMessageProcessor类中processRequest方法。

最终进入DefaultMessageStore类中asyncPutMessage方法进行消息的存储

image.png

image.png

image.png

结合图同时结合代码，我们可以看到，在事务消息发送时，消息实际存储的主题是一个系统主题：RMQ_SYS_TRANS_HALF_TOPIC

同时消息中保存着消息的原有主题相关的信息与队列

image.png

9.5.2 确认/回滚源码分析

Producer

DefaultMQProducerImpl类sendMessageInTransaction方法

image.png

image.png

image.png

Broker

image.png

EndTransactionProcessor类

image.png

image.png

image.png

9.5.3 回查源码分析

Producer

事务回查中，Producer是服务端，所以需要注册服务处理

image.png

image.png

DefaultMQProducerImpl类checkTransactionState方法

image.png

image.png

DefaultMQProducerImpl类processTransactionState方法

image.png

image.png

image.png

image.png

Broker

在Broker启动的时候，是要作为客户端，定期的访问客户端做事务回查。

回顾到之前讲到《6.1 Broker启动流程分析》

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png事务回查是Broker发起的一次定时的网络调用（每隔60s），所以事务回查在客户端启动的时候第一次不一定是60s的间隔，一般会小于60s（因为事务回查是broker发起的，并不是client端定时发起）

weixin_40885642
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ源码：事务消息原理
Java技术攻略的博客
05-04 140
事务消息不支持延时消息和批量消息。为了避免单个消息被检查太多次而导致半队列消息累积，MQ默认将单个消息的检查次数限制为 15 次，用户可以通过参数来修改此限制。如果已经回查某条消息超过次的话，则Broker将丢弃此消息，并打印错误日志。事务消息将在参数指定的时间长度之后被回查。当发送事务消息时，用户还可以通过设置用户属性来改变这个限制，该参数优先于参数。事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。
分布式事务-RocketMQ事务消息源码分析
hosaos的博客
05-16 2183
前言 上篇文章介绍了RocketMQ事务消息的基本原理，对大致的流程及设计思路有个大致的了解 分布式事务-RocketMQ消息事务设计思路及Demo 文章最后，也提出了几个问题 为什么prepare消息在发送后不会被消费？ 事务消息又是如何提交、回滚的？ 定时回查本地事务状态的机制又是怎么样？ 废话不多说，直接盘源码，从源码中找问题答案，源码中都加了todo注释，方便大家查看 发送流程 先从事...
RocketMQ源码23-事务消息原理
BASK2312的博客
05-04 285
事务消息不支持延时消息和批量消息。为了避免单个消息被检查太多次而导致半队列消息累积，MQ默认将单个消息的检查次数限制为 15 次，用户可以通过参数来修改此限制。如果已经回查某条消息超过次的话，则Broker将丢弃此消息，并打印错误日志。事务消息将在参数指定的时间长度之后被回查。当发送事务消息时，用户还可以通过设置用户属性来改变这个限制，该参数优先于参数。事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。
RocketMQ 事务消息源码分析 （RocketMQ系列八）
苏雨丶
07-11 601
之前已经讲过了普通消息的发送流程，事务消息只是在普通消息的基础上做了一些操作，消息在Producer端发送以后（这里叫半消息），Broker收到消息以后，会判断是否是事务消息，如果是事务消息会替换掉消息的Topic为事务的消息主题，将原本的消息主题和队列信息封装到消息中，等客户端执行完本地事务代码后，告诉Broker半消息是提交还是回滚。提交就是将事务半消息移到目标Topic的队列中，然后客户端就能消费到该消息。回滚的话就是将消息移到系统的另一个操作队列中，标记消息为删除，Consumer永远也消费不到该消
RocketMQ源码分析之RocketMQ事务消息实现原理上篇
中间件兴趣圈
07-28 7534
   根据上节Demo示例，发送事务消息的入口为：TransactionMQProducer#sendMessageInTransaction： public TransactionSendResult sendMessageInTransaction(final Message msg, final Object arg) throws MQClientException { ...
RocketMQ源码深度解析五之Consumer篇
KilluaZoldyck的博客
08-09 4884
前言：RocketMQ 提供了两种消费模式， PUSH 和 PULL，大多数场景使用的是PUSH模式，这两种模式分别对应的是 DefaultMQPushConsumer 类和DefaultMQPullConsumer 类
RocketMQ源码深度解析四之Producer篇
KilluaZoldyck的博客
08-08 1252
前言：本篇将从启动，Producer发送不同类型的消息的逻辑等方面，来深入了解。
RocketMQ源码分析之RocketMQ事务消息实现原理中篇----事务消息状态回查
中间件兴趣圈
07-29 5765
   上节已经梳理了RocketMQ发送事务消息的流程（基于二阶段提交），本节将继续深入学习事务状态消息回查，我们知道，第一次提交到消息服务器，消息的主题被替换为RMQ_SYS_TRANS_HALF_TOPIC，当执行本地事务，如果返回本地事务状态为UN_KNOW时，第二次提交到服务器时将不会做任何操作，也就是消息还存在与RMQ_SYS_TRANS_HALF_TOPIC主题中，并不能被消息消费者消...
RocketMQ源码分析之从官方示例窥探RocketMQ事务消息实现基本思想
中间件兴趣圈
07-28 7615
   RocketMQ4.3.0版本开始支持事务消息，本节开始将剖析事务消息的实现原理，首先将从官方给出的Demo实例入手，以此通往RocketMQ事务消息的世界中。    官方版本未发布之前，从apache rocketmq第一个版本上线后，代码中存在者与事务消息相关的代码，例如COMMIT、ROLLBACK、PREPARED， 网上对于事务消息的“声音”基本上是使用类似二阶段提交，消息系统标...
基于RocketMQ实现分布式事务
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
12-20 3368
在上一篇文章Spring Boot自动装配原理以及实践我们完成了服务通用日志监控组件的开发，确保每个服务都可以基于一个注解实现业务功能的监控。而本文我们尝试基于RocketMQ实现下单的分布式的事务。可能会有读者会有疑问，之前我们不是基于Seata完成了分布式事务，为什么我们还要用到RocketMQ呢？创建订单，将订单记录存到数据库中。扣款，记录用户扣款后钱包所剩下的额度。扣除商品库存，并发放商品。
【SCI顶级】金豺算法GJO-CNN-LSTM-Multihead-Attention温度预测【含源码 5741期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
2023睿抗机器人开发者大赛.zip
07-30
毕业设计是高等教育阶段学生完成学业的一个重要环节，通常在学士或硕士学业即将结束时进行。这是学生将在整个学业中所学知识和技能应用到实际问题上的机会，旨在检验学生是否能够独立思考、解决问题，并展示其专业能力的一项综合性任务。 毕业设计的主要特点包括： 独立性： 毕业设计要求学生具备独立思考和解决问题的能力。学生需要选择一个合适的课题，研究相关文献，进行实地调查或实验，并提出独立见解。 实践性： 毕业设计是将理论知识应用到实际问题中的一次实践。通过完成毕业设计，学生能够将所学的专业知识转化为实际的解决方案，加深对专业领域的理解。 综合性： 毕业设计往往要求学生运用多个学科的知识，综合各种技能。这有助于培养学生的综合素养，提高他们的综合能力。 导师指导： 学生在毕业设计过程中通常由一名指导老师或导师团队提供指导和支持。导师负责引导学生确定研究方向、制定计划、提供建议，并在整个过程中监督进展。 学术规范： 毕业设计要求学生按照学术规范完成研究，包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文，并进行答辩。
【JCR一区级】飞蛾扑火算法MFO-CNN-LSTM-Attention故障诊断分类预测【含源码 5668期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
SCI一区】蚁狮算法ALO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5651.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
C++头文件1.0（标准化头文件，入门者必背）
07-30
C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）
MSM0G3507 板的测试程序
07-30
<项目介绍> - MSM0G3507 板的测试程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
C++《舵机、超声波结合，实现走迷宫功能的Arduino小车程序》+源代码+文档说明
07-30
<项目介绍> - 将舵机、超声波结合，实现走迷宫功能的Arduino小车程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
k8s-cert.sh
最新发布
07-30
k8s-cert.sh
SCI一区】淘金算法GRO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5642.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
RocketMQ源码深度剖析：消息中转内核机制详解
在本文中，作者带领读者走进RocketMQ的世界，从源码环境的搭建开始，逐步剖析其核心组件和功能。首先，搭建源码环境时，建议从Apache RocketMQ GitHub仓库（<https://github.com/apache/rocketmq>）获取最新代码，或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值