1. 概览
- RocketMQ 是一个分布式消息队列系统,其刷盘机制确保消息的持久化。
2. 刷盘流程涉及的文件
- CommitLog 文件:核心文件,存储所有消息,支持顺序写入和随机读取。
- ConsumeQueue 文件:逻辑索引文件,加速消费者定位消息。
- Index 文件:索引文件,支持快速查找消息。
3. CommitLog 文件
- 消息首先写入 CommitLog 文件。
- 通过
DefaultMessageStore
类的putMessage
方法写入。 - 消息写入到内存映射文件
MappedFile
中。 - 根据刷盘策略(同步或异步)刷入磁盘。
4. ConsumeQueue 文件
- 用于快速定位 Topic 信息。
- 每个条目占用 20 字节,包含 CommitLog Offset、Message Size 和 Tag Hashcode。
- 写入消息后,消息的偏移量信息写入到对应 ConsumeQueue 文件。
5. Index 文件
- 类似数据库索引,支持 Key 或时间区间快速查找。
- 消息写入 CommitLog 后,生成索引并写入 Index 文件。
6. 刷盘方式
- 同步刷盘:写入后立即刷盘,可靠性高,性能低。
- 异步刷盘:写入后立即返回,后台线程刷盘,性能高,可靠性低。
7. 源码分析
CommitLog.java
类包含刷盘逻辑。FlushCommitLogService
抽象类,具体实现有FlushRealTimeService
(异步)和GroupCommitService
(同步)。
8. 异步刷盘触发条件
- 消息写入 CommitLog 后。
- 定时触发。
- 内存数据量达到阈值。
9. 总结
- 刷盘机制确保高性能和高可靠性的平衡。
- 理解刷盘机制和源码实现对优化和调试 RocketMQ 系统重要。