RocketMQ存储设计

RocketMQ存储设计

1、消息存储结构

RocketMQ和大多数MQ一样，采用文件存储，消息存储在磁盘，这样broker宕机也不丢失数据。

1.1、commitlog

不区分topic，所有的消息，都存储在一个commitlog这个目录下面。

这个目录下，默认的一个文件大小为1G，当一个文件满1G后，自动生成下一个文件，文件的命名采用的是偏移量的方式。

这样的设计的主要目的是顺序写，目前的高性能磁盘，顺序写速度可以达到600MB/s ，超过了一般网卡的传输速度，这是磁盘比想象的快的地方 但是磁盘随机写的速度只有大概lOOKB/s,和顺序写的性能相差 6000 倍。

1.2、consumerqueue

consumerqueue是为了方便消息的消费设计的，因为消息的存储是不区分topic和queue的，因此引入了consumerqueue。类似于消息的索引文件，方便对消息的查找。

consumerqueue中存储的每个主题的每个队列中的消息索引，按照三层组织结构 topic/queue/file，consumerqueue采取定长设计，每一个条目共20个字节，分别为8字节的commitlog物理偏移量、4字节的消息长度、8字节tag hashcode，单个文件由30W个条目组成。
因为有了消息在commitlog中的偏移量和消息的长度，因此利用consumerqueue，可以像数组一样随机访问每一个commitlog中的消息，每个ConsumeQueue文件大小约5.72M；
另外因为consumerqueue中的每一条索引消息都是定长的，因此也可以像数组一样随机访问**，总而言之，就是在O（1）的时间复杂度内可以读取到消息。**

1.3、indexFile

RocketMQ支持根据messageKey快速查找消息，因此通过indexFile维护了messageKey和commitlog之间的关系，以便于快速查找。

2、零拷贝

一次普通的数据传输过程:

​

• 数据从磁盘通过DMA方式拷贝到内核缓冲区
• 内核缓冲区的数据通过CPU拷贝到应用进程缓冲区
• 应用进程缓冲区的数据通过CPU拷贝到socket缓冲区
• socket缓冲区的数据通过DMA拷贝到网卡缓冲区

涉及四次拷贝，四次上下文切换。

2.1、mmap（RocketMQ采用）

内存映射技术，将磁盘上的一块位置与应用进程缓冲区的一块区间进行映射。

减少了第二次的CPU拷贝。仍然是四次上下文切换。不过通过这种方式实现了在应用层直接操作磁盘中的数据，

​

​

​

​

​

​