RocketMQ事务消息及消息索引设计原理

最新推荐文章于 2024-08-04 21:47:12 发布
最新推荐文章于 2024-08-04 21:47:12 发布
阅读量308 收藏
点赞数
分类专栏： 平凡人笔记 文章标签： java p2p 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16485855/article/details/122151195
版权

RocketMQ事务消息

  • 正常事务消息的发送及提交
  • 事务消息的补偿流程

一阶段的half消息如何做到对用户不可见？

回滚之后 pending状态的消息如何变成最终状态

通过Op消息来确定提交或回滚事务的最终状态

Half消息的索引构建

一阶段存储的消息的内容
二阶段时恢复出一条完整的普通消息
然后走一遍消息写入流程

消息查询

按照MessageId查询消息

客户端通过messageId得到broker地址
然后再通过commitlog offset读取真正的记录

按照Message Key查询消息

index索引文件组成

文件大小是固定的等于40+500W*4+2000W*20= 420000040个字节大小
  • Header 
保存一些总的统计信息
  • Slot Table 
不保存真正的索引数据，而是保存每个槽位对应的单向链表的头
  • 20*2000W 
20*2000W 是真正的索引数据
即一个 Index File 可以保存 2000W个索引。

类似于HashMap数组+链表的数据结构

每个索引结构

Timestamp记录的是消息storeTimestamp之间的差
并不是一个绝对的时间
平凡人笔记
关注
专栏目录
RocketMQ事务消息
baidu_32223873的博客
03-23 317
半消息在普通消息的基础上增加了2个属性：半消息标志位PROPERTY_TRANSACTION_PREPARED=true，生产者组PROPERTY_PRODUCER_GROUP，broker端将半消息真实主题和队列号保存到属性中，修改主题为RMQ_SYS_TRANS_HALF_TOPIC，队列号固定为0，保存。发送的半消息实际上先存到了broker的一个内部主题RMQ_SYS_TRANS_HALF_TOPIC中，这样对消费者是不可见的，事务提交后，再将消息转存到真正要发送的主题，这样对消费者就可见了。
RocketMq事务消息
码农崛起
08-09 3805
https://www.jianshu.com/p/c26b3af5880f https://www.jianshu.com/p/fc47ebaff6a4?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation   分布式事务 微服务倡导将复杂的系统...
深度剖析 RocketMQ 事务消息！
最新发布
m0_54369189的博客
08-04 1007
事务消息是为了保证分布式系统中消息的一致性而引入的一种消息类型。事务消息允许消息发送方在发送消息后，进行本地事务操作，并根据本地事务的执行结果来决定消息的最终状态（提交或回滚）。本文详细介绍了 RocketMQ 事务消息的基本流程，并通过源码分析揭示了其内部实现原理，尽管事务消息增加了系统的复杂性，但在需要保证消息一致性的场景中，它仍然是一种非常有效的解决方案，比如资金转账、订单处理、分布式事务、库存管理等场景。
RocketMQ-事务消息
lihongtai的专栏
11-30 349
1.RocketMQ有三种消息     1)普通消息     2)顺序消息     3)事务消息 2.分布式事务-强调最终一致性而不是强一致性 单个应用，数据库分库分表了（跨数据库） 多个应用，服务拆分了，不跨数据库 多个应用，服务拆分了，并且数据库分库分表了 正式因为出现了上面三种情况，才引入了分布式事务的解决方案，而RocketMQ的事务消息就是一种解决方案 3.RocketM...
RocketMQ之事务消息
wh柒八九的博客
08-17 204
本文来说下Rocket的消息事务
RocketMQ事务消息原理
BUG指挥课堂
06-06 1473
RocketMQ事务消息概要 通过冯嘉发布的《RocketMQ 4.3正式发布，支持分布式事务》一文可以看到RocketMQ采用了2PC的方案来提交事务消息，同时增加一个补偿逻辑来处理二阶段超时或者失败的消息。 这张图说明了事务消息的大致方案，分为两个逻辑：正常事务消息的发送及提交、事务消息的补偿流程 事务消息发送及提交： 发送消息（half消息） 服务端响应消息写入结果 根据发送结果执行本地事务（如果写入失败，此时half消息对业务不可见，本地逻辑不执行） 根据本地事务状态执行Commi
分布式事务-RocketMQ消息事务设计思路及Demo
热门推荐
hosaos的博客
05-10 2万+
前言 在之前的文章中介绍了基于Seata实现的分布式事务的解决方案(AT、TCC模式)，有兴趣的看一下 https://blog.csdn.net/hosaos/article/details/89136666 这两种方案都是偏向于强一致性解决方案。协调器会不断循环各个资源RM来进行事务的同时提交，回滚。 而往往很多场景不求事务的强一致性，只需达到事务的最终一致性，这时候，事务消息可以很好的满...
RocketMQ系列6——事务消息
xiaodigua1024的博客
03-31 2544
RocketMQ在4.3.0版中支持分布式事务消息，这里RocketMQ的事务消息是采用2PC(两段式协议) +补偿机制（消息回查）的分布式事务功能。提供消息发送与业务落库的一致性。
RocketMQ源码分析之RocketMQ事务消息实现原理中篇----事务消息状态回查
阿里云技术
01-08 490
在阅读本文前，若您对RocketMQ技术感兴趣，请加入 RocketMQ技术交流群 上节已经梳理了RocketMQ发送事务消息的流程（基于二阶段提交），本节将继续深入学习事务状态消息回查，我们知道，第一次提交到消息服务器时消息的主题被替换为RMQ_SYS_TRANS_HALF_TOPIC，本地事务执行完后如果返回本地事务状态为UN_KNOW时，第二次提交到服务器时将不会做任何操作，也就是说此时消...
RocketMQ事务消息实现原理
刘本龙的专栏
09-22 1656
文章目录概述RocketMQ事务消息实现原理RocketMQ事务消息流程概要RocketMQ事务消息设计事务消息优缺点优势缺陷注意 概述 在之前文章seata(一) 分布式事务解决方案汇总中介绍了十来种分布式事务的解决方案或理论，其中有一个是事务消息。rocketmq是支持事务消息的，本文将介绍rocketmq事务消息的实现原理，以及具体实例。 RocketMQ事务消息实现原理 RocketMQ是基于2PC协议基础之上演变而来的，同时增加一个补偿(回查)逻辑来处理二阶段超时或者失败的消息。2PC协议可以参
rocketMQ事务消息
Seati_的博客
04-22 340
*刷盘丢消息：**采用同步刷盘机制，如果是集群的话需要同步复制，也就是说保证消息持久化到每一台机器上才发送落盘成功的ACK。4.MQ收到事务执行结果，如果是commit就会把半事务消息设置为可发送状态，如果是rollback则把半事务消息删除掉。**消费者丢消息：**消费者执行完业务逻辑，再反馈Broker说消费成功，这样来保证消费阶段不丢消息。3.此时MQ不会把半事务消息推送给消费者，此时生产者开启事务执行业务逻辑后，发送事务结果给MQ。6.消费者消费完会返回ACK,MQ就会把消费过的消息删掉。
rocketmq-事务消息
少爷
09-26 292
前言 之前有转载过一篇关于分布式事务最终一致的MQ实现的文章，当时也是碰到了分布式事务的情形，最后按照文章的思路利用rmq实现了数据的最终一致。不太清楚分布式事务的，可以先看下这边文章了解下。 PS：本篇默认你已经了解rmq的一些基础并看过部分源代码，建议在看该篇时，先看下官方的文档RocketMQ事务消息。 牵涉到的分布式的话题一般都会提到CAP，从知乎上打捞来一份比较好解释。 P 意指分区容...
RocketMQ 事务消息
CoderChronicle的博客
12-29 792
基于 RocketMQ 4.8.0 版本进行的源码分析。讲述 RocketMQ 是如何的。
RocketMQ事务消息机制详解
"RocketMQ事务消息处理机制与存储结构解析" RocketMQ是一个高性能、高可用性的分布式消息中间件，尤其在处理事务消息方面有着独特的机制。事务消息主要用于保证分布式环境下的数据一致性，它允许Producer端的业务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值