RocketMQ - 深入研究一下Broker是如何持久化存储消息的

最新推荐文章于 2024-03-12 07:41:09 发布
最新推荐文章于 2024-03-12 07:41:09 发布
阅读量163 收藏
点赞数
分类专栏： RocketMQ - 你的消息队列技术引路人 文章标签： java-rocketmq rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangbaggio/article/details/136237563
版权
本文深入探讨RocketMQ中Broker如何高效地持久化存储消息，包括CommitLog顺序写入、MessageQueue的存储体现、利用PageCache提升写入性能以及同步与异步刷盘策略，以保证消息的可靠性和系统性能。
摘要由CSDN通过智能技术生成
1. CommitLog消息顺序写入机制

首先思考一下，当生产者的消息发送到一个Broker上的时候，他接收到了一条消息，接着他会对这个消息做什么事情？

首先第一步，他会把整个消息直接写入磁盘上的一个日志文件，叫做CommitLog，直接顺序写入这个文件，如下图：
在这里插入图片描述
这个CommitLog是很多磁盘文件，每个文件限定最多1GB，Broker接收到消息之后就直接追加写入这个文件的末尾，就跟上面图里一样，如果一个CommitLog写满了1GB，就会创建一个新的CommitLog文件。

2. MessageQueue在数据存储中是体现在哪里？

接着我们会发现一个问题，如果写入这个Broker的消息都是进入到CommitLog中去存储的，那么前面提到的MessageQueue是体现在哪里呢？

其实在Broker中，对于Topic下的每个MessageQueue都会有一系列的ConsumerQueue文件；这是什么意思呢？就是在Broker的磁盘上，会

了解本专栏 订阅专栏 解锁全文 超级会员免费看
无法无天过路客
关注
专栏目录
订阅专栏
【RocketMQ | 源码分析】Broker是如何保存消息的
MarcoLin
04-12 259
前面我们介绍了RocketMQ是如何接收消息的，下面我们来介绍Broker是如何保存消息的。CommitLog是消息和消息数据存储的主体，CommitLog存储的文件目录在中，它其实是一个目录，消息并不是直接存储在CommitLog中，而是存储在由20位数字构成的文件中。消息在commitLog中存储的格式如下所示totalSize消息总长度，4字节magicCode魔数，4字节，固定值十六进制是0xdaa320a7，10进制是-875286124bodyCRC消息体crc校验码，4字节。
RocketMQ的消息存储（持久化机制）
piaopu0120的博客
09-22 1361
RocketMQ 主要存储的文件包括CommitLog文件、ConsumeQueue 文件、IndexFile文件。
Rocketmq消息持久化
u010154380的专栏
05-19 4185
Rocketmq消息持久化producer Send()的Message最终将由broker处理，处理类为：SendMessageProcessor ,处理方法：processRequet.public class SendMessageProcessor extends AbstractSendMessageProcessor implements NettyRequestProcessor {...
RocketMQ总结（持久化，重发机制，分布式事务，监控机制，顺序消息，重复消费等等）
大鸡腿的博客
03-16 2807
官网http://rocketmq.apache.org/docs/code-guidelines/ windows安装RocketMQ 在官网下载二进制包 http://rocketmq.apache.org/release_notes/release-notes-4.2.0/ 解压 配置环境变量 启动RocketMQ 在bin目录下， D:\RocketMQ\bi...
Rocketmq消息不丢失的秘诀：高可用性设计与持久化策略
Reische的博客
11-24 249
producer消息发送方式虽然有3种，但为了减小丢失消息的可能性尽量采用同步的发送方式，同步等待发送结果，利用同步发送+重试机制+多个master节点，尽可能减小消息丢失的可能性。在broker端，消息丢失的可能性主要在于刷盘策略和同步机制。RocketMQ默认broker的刷盘策略为异步刷盘，如果有主从，同步策略也默认的是异步同步，这样子可以提高broker处理消息的效率，但是会有丢失的可能性。因此可以通过同步刷盘策略+同步slave策略+主从的方式解决丢失消息的可能。
RocketMQ 接受消息写入消息 （03）
qq_37867087的博客
01-12 849
rocketmq 接受消息、消息入内存、落盘、构建consumeQueue文件和Index索引文件源码分析
rocketmq-all-4.7.0-source-release.zip
04-09
6. **Store**：消息存储模块，RocketMQ将消息持久化到磁盘，包括CommitLog和ConsumerQueue等数据结构，确保消息的可靠存储和快速检索。 7. **Client API**：Java和多语言客户端API，方便开发者在不同语言环境中使用...
rocketmq-4.9.2版本
05-06
- **Commit Log**：存储原始消息，用于持久化和消息检索。 - **Index File**：为消息创建索引，加快消息查询速度。 - **Message Queue**：逻辑上的消息队列，多个消费者可以并行消费。 4. **主从复制** - **HA...
RocketMQ-master.rar
07-25
Broker还负责消息的持久化和备份，确保消息的可靠性。 4. **Producer**：Producer是消息的发送方，它负责将消息发送到RocketMQ的Broker上。Producer可以设置不同的发送策略，如同步发送、异步发送和单向发送。 5. ...
RocketMq(七)：RocketMQ深入理解（producer生产者的工作原理？broker是如何持久化存储消息的？如何消息写入commitLog文件近乎内写性能的？dledger的raft协议）
weixin_46950473的博客
04-14 1436
前言 这周更晚了一天，这周的内容可能相对于前些章来说会稍微繁琐一些，但是依然还是干货满满，相信追剧到这里的博友，都是志同道合的老友了，这章主要进阶一波，深入理解一下rocketMQ的一些原理知识，废话不多说，开干！ 1.首先解答前期铺垫的pull和push两种消费模式的区别 之前的章节中有做过一个铺垫，这里就不多提了，简单的来讲，push和pull本质上消费模式是一样的，都是消费者机器主动发送请求到broker机器去拉取一批消息下来，那么对于这两种消费模式，应该选择哪种消费模式呢？区别在哪里的？ 1.
RocketMQ源码：broker 消息接收流程(写入commitLog)
Java技术攻略的博客
03-25 245
本文主要分析了 broker 接收producer处理消息接收的底层服务为 netty，在方法中启动netty服务中，处理消息接收的为，最终会调用来处理消息接收消息接收流程的最后，方法会将消息内容写入到commitLog文件中。
RocketMQ 持久化
微信公众号：一颗向上的草莓
06-29 3206
RocketMQ 采用文件系统的方式来存储消息，消息的主要存储文件包括 CommitLog 文件、ConsumeQueue 文件、IndexFile 文件。 CommitLog 是消息存储的物理文件，所有消息主题的消息都存储在 CommitLog 文件中，每个 Broker 上的 CommitLog 被当前机器上的所有 ConsumeQueue 共享。CommitLog 中的文件默认大小为 1G，可以动态配置； 当一个文件写满以后，会生成一个新的 CommitLog 文件。所有的 Topic 数据
探秘 RocketMQ 消息持久化机制
骏马逸动，心随你动的博客
08-26 2121
我们知道 RocketMQ 是一款高性能、高可靠的分布式消息中间件，高性能和高可靠是很难兼得的。因为要保证高可靠，那么数据就必须持久化到磁盘上，将数据持久化到磁盘，那么可能就不能保证高性能了。 RocketMQ 在兼容这两方面做的不错，先从磁盘说起，现代的磁盘都是高性能的，写速度并不一定比网络的数据传输速度慢。比如 SSD 固态硬盘在 M.2 NVMe协议下，顺序写的速度可以达到 1500 MB/s，就算是普通磁盘，如果性能比较高的话，顺序写的速度可以达到 450MB/s~600MB/s。 在顺序写的情
探秘RocketMQ消息持久化
weixin_33800463的博客
08-02 3093
为什么80%的码农都做不了架构师？>>> ...
RocketMQ的部署方式及持久化方式
weixin_34227447的博客
04-11 2791
RocketMQ 的 Broker 有三种集群部署方式： 1. 单台 Master 部署； 2. 多台 Master部署； 3. 多 Master 多 Slave 部署；采用第 3 种部署方式时， Master 和 Slave 可以采用同步复制和异步复制两种方式。   刷盘策略 在commitLog.putMessage中决定刷盘方式，在MessageStoreConfig中配置刷盘的方式 ...
RocketMQ 的消息持久化机制
kang2411212的博客
04-05 2581
RocketMQ 持久化机制 RocketMQ 的消息持久化主要依靠以下文件完成 CommitLog 日志数据文件，存储消息内容，所有 queue 共享，不区分 topic ，顺序读写 ，1G 一个文件 ConsumeQueue 逻辑 Queue，基于 topic 的 CommitLog 的索引文件 消息先到达 commitLog，然后异步转发到 consumeQueue，包含 queue 在 commitLog 中的物理偏移量 offset，消息实体内容大小和 Message Tag 的 hash
Rocketmq持久化
狼与自由
05-08 1323
kafka单机队列/分区超过64个厚，load时间明显会飙升，队列越多，load越高，发送消息时间变长 RocketMQ 单机支持支持5W队列，load时间稳定 为什么？ 因为二者的持久化方式差异 kafka 不同的topic和分区持久化都会有独立的文件保存 这就导致了它io的时候要在不同的文件下切换，当切换次数多的时候会表现的很不稳定 rocketmq 不管多少个topic，多少个队列都是保存在一个文件下避免了切换问题，所以在多队列的场景下稳定 ...
RocketMQ - 什么是RocketMQ
yang的博客
05-23 697
RocketMQ是一个低延时、高可靠、可伸缩、易于使用的分布式消息中间件，是由阿里巴巴开源捐献给Apache的顶级项目。RocketMQ具有高吞吐、低延迟、海量消息堆积等优点，同时提供顺序消息、事务消息、定时消息、消息重试于追踪等功能，非常适合在电商、金融等领域使用。
RocketMQ - 基于延迟消息机制优化大量订单的定时退款扫描问题！
最新发布
yang的博客
03-12 545
我们先考虑一个正常的电商购物流程，一般来说我们作为用户在一个点上APP上都会选择一些商品加入购物车，然后对购物车里选择的一些商品统一下一个订单，此时后台的订单系统必然会在订单数据库中创建一个订单。 但是我们下了一个订单之后，虽然订单数据库里会有一个订单，订单的状态却是"待支付"状态，因为此时你还没有支付这个订单，我们的订单系统其实也在等待订单用户完成这个订单的支付。 这里就有两种可能了，一种是用户下单之后立马就支付掉了，那么接着订单系统可以走后续的流程，比如通过MQ发送消息通知优惠券系统给用户发放优惠券
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无法无天过路客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值