RocketMQ5.0源码解析-CommitLog图文详解

最新推荐文章于 2024-09-18 07:00:00 发布
最新推荐文章于 2024-09-18 07:00:00 发布
阅读量632 收藏 1
点赞数
文章标签： java 大数据 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1527/article/details/126848625
版权
本文详细介绍了RocketMQ的CommitLog存储机制，包括MappedFileQueue、CommitLog消息处理流程、刷盘解析等。CommitLog通过MappedFileQueue管理数据文件，利用FlushManager进行数据落地，并采用GroupCommitService和FlushRealTimeService处理同步和异步刷盘。RocketMQ在消息校验、HA处理等方面也有精细的设计。
摘要由CSDN通过智能技术生成

1. CommitLog示意图

CommitLog是对RocketMQ的存储的抽象，示意图如下：

CommitLog 主要由几部分组成：

  • MappedFileQueue： 主要用来操作相关数据存储文件。将一系列的MappedFile抽象成一个队列。
  • FlushManager： 数据落地磁盘的管理，主要分为两类：实时数据刷盘(FlushRealTimeService),以及异步刷盘(GroupCommitService)
  • FlushDiskWatcher： 刷盘观察者，处理队列中的刷盘请求，对于规定时间内没有刷盘成功的进行处理。

Tips: 多目录存储参照RIP-7

CommitLog 底层主要是通过FileChannel来实现。其中还有一些RocketMQ的自身优化，例如： TransientStorePool。

2. MappedFileQueue

最低0.47元/天 解锁文章
java小姜在线冲
关注
Rocketmq核心源码剖析-图灵杨过老师1
08-03
在深入探讨RocketMQ核心源码之前，...通过对RocketMQ的CommitLog和ConsumeQueue的理解，以及NameServer和Broker架构的解析，我们可以更深入地掌握RocketMQ的工作原理，这对于优化系统性能和解决实际问题具有重要意义。
RocketMQ之 CommitLog
不能放弃治疗
06-27 6932
1 消息存储概述 RocketMQ 的存储文件，放在 ${ROCKET_HOME}/store 目录下。 当生产者发送消息时，broker 会将消息存储到 commit 文件下，然后再异步的转存到 consumeQueue 以及 indexFile。 commitlog 消息主体以及元数据的存储主体。Producer 发送的消息就存放在 commitlog 里面. consumeQueue 消息消费队列，引入的目的主要是提高消息消费的性能，由于 RocketMQ 是基于主题 topic 的订阅模式，消息消费
RocketMQ存储之CommitLog
feijianke666的博客
07-30 1903
一、CommitLog功能概述
手把手教你安装RocketMQ5.0版本
最新发布
励志成为一名优秀的全能型软件开发工程师。
09-18 1575
好用的消息中间件
rocketMq-消息存储-commitLog
qq_30834791的博客
07-10 1286
简述 本文章主要先对rocketMq 流程简述如下： nameserv:看作注册中心，broker 启动要注册到nameserv中，同时要定时向nameserv发送心跳来告诉nameserv它还活着，然后nameserv除了维护broker信息，还要维护topic的信息，比如一个topic 消息发送到哪几个broker上，然后topic 分为几个message queue等等，现在我们只需要简单知道这个nameserv 维护这broker信息与topic 信息。 broker:一个实例...
RocketMQ消息存储结构简介--CommitLog
GAMELOFT9----纸上得来终觉浅，绝知此事要躬行
09-09 3937
RocketMQ消息存储是整个系统的核心，直接决定着吞吐性能和高可用性。RocketMQ存储消息并没有借助oracle、mysql等关系型数据库，而是直接操作文件。借助java NIO的力量，使得I/O性能十分高。当消息来的时候，顺序写入CommitLog。为了Consumer消费消息的时候，能够方便的根据topic查询消息，在CommitLog的基础上衍生出了CosumerQueue文件，存放了...
rocketmq-all-5.1.4-bin-release.zip
10-21
3. **低延迟**：RocketMQ设计了高效的内存管理机制和磁盘存储结构，如Message Store和CommitLog，能够在大量消息处理时保持低延迟。 4. **事务消息**：RocketMQ支持分布式事务消息，保证了事务的一致性。Producer...
rocketmq-externals-master.zip
12-04
- **Message Store模块**：深入研究RocketMQ的数据存储结构，如CommitLog、ConsumeQueue等，以及如何实现高可用和高并发读写。 - **Remoting模块**：了解RocketMQ的网络通信机制，包括协议设计、RPC实现等。 5. *...
git-commit-plugin：自动生成git commit
02-03
Vscode的Git-commit-plugin安装以上vscode（版本> = 1.42.0），然后需要安装git插件。遵循，如下所示： (): <subject><BLANK><body><BLANK><footer>类型必须为以下之一： 壮举：一项新功能fix ：一个错误修复...
rocketmq-all-4.3.2-source-release.zip
10-21
在RocketMQ中，消息的存储主要依赖于`Store`模块，其中包括了`MessageStore`、`CommitLog`、`ConsumeQueue`等组件。`CommitLog`负责存储原始消息，`ConsumeQueue`则是消费队列，它是一个索引文件，用于提高消息检索...
RocketMQ CommitLog 详解
黎明就要到来
06-19 919
该文所涉及的 RocketMQ 源码版本为 4.9.3。
RocketMQ中的CommitLog与ConsumeQueue
m0_54187478的博客
03-12 1255
CommitLog是RocketMQ消息存储架构的核心组件，它提供了持久化、高效率的消息存储机制。通过与索引文件（如和IndexFile）的配合使用，它支持高性能的消息读取。同时，清理机制确保了系统的稳定运行，不会因为CommitLog的无限增长而耗尽磁盘空间。通过主从复制，它还保证了消息系统的高可用性和数据的安全性。作为消息消费的索引，极大地提升了消息访问的效率，使得RocketMQ能够支持高吞吐量的消息传递。通过，RocketMQ实现了对CommitLog。
RocketMQ存储原理 CommitLog解析
AllenChan_的博客
10-20 1410
从源码深入解析RocketMQ的消息存储机制和主从同步机制。介绍CommitLog文件和消息序列化协议。深入浅出消息是如何写入内存然后同步到磁盘的。介绍两种刷盘策略：同步刷盘、异步刷盘。看完本篇文章轻松战胜面试官！
重新理解 RocketMQ Commit Log 存储协议
2301_78385600的博客
09-06 473
最近突然感觉：很多软件、硬件在设计上是有 root reason 的，不是 by desgin 如此，而是解决了那时、那个场景的那个需求。一旦了解后，就会感觉在和设计者对话，了解他们的思路，学习他们的方法，思维同屏：活到老学到老。
RocketMQ架构原理解析（二）：消息存储（CommitLog）
sjzsylkn的专栏
12-13 1455
一、概述 由前文可知，RocketMQ有几个非常重要的概念： broker 服务端，负责存储、收发消息 producer 客户端1，负责产生消息 consumer 客服端2，负责消费消息 既然是消息队列，那消息的存储的重要程度不言而喻，本节我们聚焦broker服务端，看下消息在broker端是如何存储的，它的落盘策略是怎样的，又是如何保证高效 二、写入流程 RocketMQ的普通单消息写入流程如下 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 简单可以分为三大块： 写入前准备
CommitLog——MQ的消息的存储
qqrrjj2011的博客
08-09 668
CommitLog——MQ的消息的存储
详解RocketMQ消息存储原理
听得到微笑的博客
10-15 8501
RocketMQ存储的文件主要包括CommitLog文件、ConsumeQueue文件、Index文件。RocketMQ将所有topic的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。因为消息中间件一般是基于消息主题的订阅机制，所以给按照消息主题检索消息带来了极大的不便。为了提高消息消费的效率，RocketMQ引入了ConsumeQueue消息消费队列文件，每个topic包含多个消息消
RocketMQ系列3——消息存储
xiaodigua1024的博客
03-28 1773
数据持久化存储，当MQ收到一条消息后，需要向生产者返回一个ACK响应，并将消息存储到磁盘文件。MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。MQ需要定期删除一些过期的消息，这样才能保证服务一直可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值