RocketMQ之消息的存储

最新推荐文章于 2024-04-30 10:28:57 发布
最新推荐文章于 2024-04-30 10:28:57 发布
阅读量524 收藏
点赞数
分类专栏： [RocketMQ]
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Delicious_Life/article/details/105011983
版权
RocketMQ使用零拷贝技术和Linux Ext4文件系统存储消息，确保高效写入。消息存储包含ConsumeQueue（索引）和CommitLog（数据）两部分，实现顺序写入。读取时，先从ConsumeQueue获取偏移量，再从CommitLog读取消息主体。刷盘方式有同步（等待磁盘写入完成）和异步（快速写入内存，定期批量刷盘至磁盘）两种。
摘要由CSDN通过智能技术生成

目录

简介

消息存储的位置

同步刷盘与异步刷盘

 

简介

 

 RocketMQ中的消息数据存储，采用零拷贝的技术(mmap+write方式)，文件系统采用Linux Ext4文件系统进行存储。

 

消息存储的位置

 

在RocketMQ中，消息数据量保存在磁盘文件中，为了保证写入的性能，RocketMQ尽可能地保证顺序写入，顺序写入比随机写入的效率高很多

RocketMQ的消息存储是由ConsumeQueue和CommitLog配合完成的，CommitLog是真正存储数据的文件，ConsumeQueue是索引文件，存储数据指向到物理文件的配置。

消息读取的图示：

消息主体以及元数据都存储在CommitLog当中

Comsume Queue相当于kafka

最低0.47元/天 解锁文章
RocketMQ5.0消息存储＜二＞_消息存储流程
专搞技术的小兔子
07-12 143
org.apache.rocketmq.broker.processor.SendMessageProcessor是生产者发送消息后，Broker接收消息的核心实现类。创建的内存追加消息。org.apache.rocketmq.store.logfile.DefaultMappedFile#appendMessage是文件内存映射追加消息方法，目的是把堆外缓存池消息或直接Commit到文件内存映射，其调用链如下。step3：消息通过堆外缓存，Commit消息写入文件内存映射，然后Flush写入磁盘；
RocketMQ高手之路系列之九：RocketMQ之事务消息（二）
最新发布
2301_82242204的博客
05-06 822
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
RocketMQ消息存储
YangzaiLeHeHe的博客
07-15 2426
RocketMQ主要存储文件包含消息文件（commitLog）、消息消费队列文件(consume-queue)、Hash索引文件(IndexFile)、检测点文件(checkpoint)、abort(关闭异常文件)、单个消息存储文件、消息消费队列文件、Hash索引文件长度固定以便使用内存映射机制进行文件的读写操作。RocketMQ组织文件以文件的起始偏移量来命名文件，这样根据偏移量能快速的定位到真...
RocketMQ 消息存储
weixin_30652271的博客
12-24 101
消息存储 　　主要的存储文件： 　　1、消息文件（commitLog） 　　2、消息消费队列文件（consumeQueue） 　　3、Hash索引文件（IndexFile） 　　4、检测点文件（checkpoint） 　　5、关闭异常文件（abort） 文件刷盘机制 　　RocketMQ的存储与读写是基于JDK NIO的内存映射机制（MappedByteBuf...
RocketMQ之【消息存储】模块
weixin_43420030的博客
06-03 348
CommitLog、ConsumeQueue、IndexFile：RocketMQ消息存储三大概念
rocketMQ数据存储
qq_26896085的博客
03-19 1455
RocketMQ中的消息数据存储，采用了零拷贝技术（使用 mmap + write 方式），文件系统采用 Linux Ext4 文件系统进行存储。消息数据的存储 在RocketMQ中，消息数据是保存在磁盘文件中，为了保证写入的性能，RocketMQ尽可能保证顺序写入，顺序写入的效率比随机写入的效率高很多。 RocketMQ消息的存储是由ConsumeQueue和CommitLog配合完成的，Com...
RocketMQ之消息存储结构
戴着红领巾走世界
07-28 1078
RocketMQ的消息存储是由CommitLog和ConsumerQueue配合完成的。如下图： CommitLog 消息存储物理文件     从上图可以看出有两个非常重要的文件：CommitLog和ConsumerQueue。CommitLog是消息存储的日志数据文件，Producer 发送消息最终顺序写入到此文件中，并且CommitLog文件采用混合型存储（当前broker的所有Topic 下的消息队列共用同一个 CommitLog 的日志数据文件），并通过建立
RocketMQ高手之路系列之四：RocketMQ之消息发送（一）
2301_79098686的博客
04-30 741
就写到这了，也算是给这段时间的面试做一个总结，查漏补缺，祝自己好运吧，也希望正在求职或者打算跳槽的 程序员看到这个文章能有一点点帮助或收获，我就心满意足了。多思考，多问为什么。希望小伙伴们早点收到满意的offer!越努力越幸运！金九银十已经过了，就目前国内的面试模式来讲，在面试前积极的准备面试，复习整个 Java 知识体系将变得非常重要，可以很负责任的说一句，复习准备的是否充分，将直接影响你入职的成功率。
RocketMQ系列3——消息存储
xiaodigua1024的博客
03-28 1741
数据持久化存储，当MQ收到一条消息后，需要向生产者返回一个ACK响应，并将消息存储到磁盘文件。MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。MQ需要定期删除一些过期的消息，这样才能保证服务一直可用。
RocketMQ 消息存储流程
CoderChronicle的博客
12-29 1023
基于 RocketMQ 4.2.0 版本进行的源码分析。本文讲述 RocketMQ 存储一条消息的流程。
RocketMQ主机磁盘空间有限，如何无限期延长消息存储？
Java知音
11-26 283
点击关注公众号，实用技术文章及时了解来源：blog.csdn.net/x763795151/article/details/118500973前言RocketMQ作为国人开源的一款消息引擎...
【RocketMQ工作原理】消息的存储
LoveSummer
09-11 1439
RocketMQ中的消息存储在本地文件系统中，这些相关文件默认在当前用户主目录下的store目录中。 abort：该文件在Broker启动后会自动创建，正常关闭Broker，该文件会自动消失。若在没有启动Broker的情况下，发现这个文件是存在的，则说明之前Broker的关闭是非正常关闭。 checkpoint：其中存储着commitlog、consumequeue、index文件的最后刷盘时间戳 commitlog：其中存放着commitlog文件，而消息是写在commitlog文件中的 config
RocketMQ-broker如何将收到的生产者消息保存到文件
龚厂长的博客
12-10 709
本文基于RocketMQ 4.7.1版本 上一篇文章介绍了broker的启动，本文介绍broker如何处理收到生产者消息。 文章目录一、进入处理器前的准备 一、进入处理器前的准备 rocketmq在将消息交给SendMessageProcessor前，要做一些准备工作： 解析请求报文，得到请求的类型，rocketmq根据类型找到对应的处理器，也就是SendMessageProcessor； 创建一个Runnable对象，在该对象的run方法里面有对处理器的调用逻辑，在下面介绍该对象，可以认为这里使用了.
详解RocketMQ消息存储原理
听得到微笑的博客
10-15 7945
RocketMQ存储的文件主要包括CommitLog文件、ConsumeQueue文件、Index文件。RocketMQ将所有topic的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。因为消息中间件一般是基于消息主题的订阅机制，所以给按照消息主题检索消息带来了极大的不便。为了提高消息消费的效率，RocketMQ引入了ConsumeQueue消息消费队列文件，每个topic包含多个消息消
RocketMQ-消息存储基本架构及存储流程
hosaos的博客
10-16 2464
文章目录整体架构存储文件介绍设计思路存储流程 消息存储是RocketMQ中最为复杂和最为重要的一部分，本文会简单介绍下RocketMQ的消息存储整体架构、以及发送一条消息时的基本存储流程 整体架构 存储文件介绍 消息存储的架构设计中，有3个重要的存储文件，分别是CommitLog、ConsumeQueue、IndexFile 分别展开说明下 CommitLog: CommitLog是存储消息内容...
【RocketMQ】消息的存储设计
热门推荐
morris
07-21 1万+
RocketMQ因为有高可靠性的要求(宕机不丢失数据)，所以数据要进行持久化存储。所以RocketMQ采用文件进行存储。
RocketMQ消息队列——消息存储详解
从善若水的博客
05-13 1099
2016年双11前后阿里巴巴将 RocketMQ 捐赠给Apache基金会，很快就吸引了全球众多开源爱好者加入其社区生态中，并在2017年9月成为Apache基金会的顶级项目。 利用RocketMQ可以轻松实现应用解耦、流量消峰、消息分发等功能，并且消息队列还有保证最终一致性、方便动态扩容等功能。RocketMQ不会像ActiveMQ IO一样，随着使用的队列和虚拟topics的增加而影响性能。相比于Kafka ，RocketMQ具有更低的时延和更高的可靠性。所以RocketMQ已经成为了大型互联网服务架.
RocketMQ中的消息存储结构及删除机制
Java_ttcd的博客
08-22 2246
Message是Rocket中很重要的组成部分，也就是消息本身。Message中有,。message和Topic是多对一的关系，一个主题下边可以有多个消息。
RocketMQ定时消息与存储机制解析
CommitLog是RocketMQ存储消息的主要文件，每个CommitLog包含一系列消息单元，这些消息单元有特定的存储结构。CommitLog类提供了多种方法，如获取最小和最大Offset，读取指定位置的消息，以及消息的恢复操作，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值