RocketMQ4.x和RocketMQ5.0在CommitLog的设计上面基本上没有太多调整,还是沿用了之前的设计。下面来对CommitLog的设计思想和源码进行分析。
RocketMQ版本5.0.0
1. CommitLog示意图
CommitLog是对RocketMQ的存储的抽象,示意图如下:
CommitLog
主要由几部分组成:
- MappedFileQueue: 主要用来操作相关数据存储文件。将一系列的MappedFile抽象成一个队列。
- FlushManager: 数据落地磁盘的管理,主要分为两类:实时数据刷盘(FlushRealTimeService),以及异步刷盘(GroupCommitService)
- FlushDiskWatcher: 刷盘观察者,处理队列中的刷盘请求,对于规定时间内没有刷盘成功的进行处理。
Tips: 多目录存储参照RIP-7
CommitLog
底层主要是通过FileChannel来实现。其中还有一些RocketMQ的自身优化,例如: TransientStorePool。
2. MappedFileQueue
MappedFileQueue
是对数据存储文件的一个抽象,将多个数据文件抽象成为一个文件队列。通过这个文件队列对文件进行操作操作。同时保存一些 CommitLog
的属性。来看一下MappedFileQueue中的几个重要的属性: