RocketMQ的消息存储

RocketMQ消息存储

官方文档说明

1.消息存储整体架构

tag：补充图示

CommitLog

• 作用：
  消息的存储文件
• 存储路径：
  $HOME/store/commitlog/{fileName}

ConsumerQueue

• 作用：
  ​ 可以看成基于Topic的CommitLog索引文件，记录了commitlogOffset/msgSize/tagsCode
  ​ 保存了指定topic下的队列消息在commitlog的起始偏移量offset、消息大小size、消息的tag的hashcode值。

• 存储路径
  ​ $HOME/store/consumequeue/{topic}/{queueId}/{fileName}
  ​

IndexFile

• 作用：
  提供了一种可以通过key或时间区间来查询消息的方法
• 存储路径；
  $HOME/store/index

2.页缓存与内存映射

• PageCache
  当数据写入时，先写入到PageCache内，通过异步的方式再将PageCache中的数据刷盘到物理磁盘上
  当数据读取时，PageCache会预读取(并且是顺序IO，读性能接近读内存)。

• 内存映射
  零拷贝：通过Mmap(MapperByteBuffer)对文件进行读写操作。将磁盘物理文件直接映射到用户态的内存地址中。(减少了传统IO的文件read到内核态再到用户态数据拷贝的性能开销)

​

3.消息刷盘

tag：补充图示

​ msg->Broker->Java Heap->Virtual Memory->Disk

• 同步刷盘
  区别：Virtual Memory->Disk是同步过程
  特点：刷盘到Disk之后才会返回成功的ack给procuder。可靠性强，但是性能有较大影响

• 异步刷盘
  区别：Virtual Memory->Disk是异步过程
  特点：将msg写入到PageCache即可返回成功的ack给procuder端，消息刷盘采用后台异步线程的方式进行，降低了读写延迟，提高了MQ的性能和吞吐量