RocketMQ消息存储
1.消息存储整体架构
tag:补充图示
CommitLog
- 作用:
消息的存储文件 - 存储路径:
$HOME/store/commitlog/{fileName}
ConsumerQueue
-
作用:
可以看成基于Topic的CommitLog索引文件,记录了commitlogOffset/msgSize/tagsCode
保存了指定topic下的队列消息在commitlog的起始偏移量offset、消息大小size、消息的tag的hashcode值。 -
存储路径
$HOME/store/consumequeue/{topic}/{queueId}/{fileName}
IndexFile
- 作用:
提供了一种可以通过key或时间区间来查询消息的方法 - 存储路径;
$HOME/store/index
2.页缓存与内存映射
-
PageCache
当数据写入时,先写入到PageCache内,通过异步的方式再将PageCache中的数据刷盘到物理磁盘上
当数据读取时,PageCache会预读取(并且是顺序IO,读性能接近读内存)。 -
内存映射
零拷贝:通过Mmap(MapperByteBuffer)对文件进行读写操作。将磁盘物理文件直接映射到用户态的内存地址中。(减少了传统IO的文件read到内核态再到用户态数据拷贝的性能开销)
3.消息刷盘
tag:补充图示
msg->Broker->Java Heap->Virtual Memory->Disk
-
同步刷盘
区别:Virtual Memory->Disk是同步过程
特点:刷盘到Disk之后才会返回成功的ack给procuder。可靠性强,但是性能有较大影响 -
异步刷盘
区别:Virtual Memory->Disk是异步过程
特点:将msg写入到PageCache即可返回成功的ack给procuder端,消息刷盘采用后台异步线程的方式进行,降低了读写延迟,提高了MQ的性能和吞吐量