RocketMQ-消息存储基本架构及存储流程

消息存储是RocketMQ中最为复杂和最为重要的一部分，本文会简单介绍下RocketMQ的消息存储整体架构、以及发送一条消息时的基本存储流程

整体架构

存储文件介绍

消息存储的架构设计中，有3个重要的存储文件，分别是CommitLog、ConsumeQueue、IndexFile

分别展开说明下

1. CommitLog: CommitLog是存储消息内容的存储主体，Producer发送的消息都会顺序写入CommitLog文件。由于需要存储的消息随着时间推移会变得很大，因此CommitLog将日志做了拆分，每个CommitLog文件大小为1G，文件名(长度20位，左边补0)为该文件中的消息起始偏移量，比如第一个CommitLog起始偏移量为0，其文件名为(00000000000000000000)，1G=1073741824，故第二个文件的起始偏移量为1073741824，文件名为00000000001073741824。

commitLog文件存储路径为$HOME/store/commitLog，如图所示

2. ConsumeQueue：ConsumeQueue(逻辑消费队列)是消息消费队列，由于CommitLog中为了消息的存储性能考虑，所有消息都是顺序写入的(即不同Topic的消息混淆存储)，但Consumer消费端又是根据Topic来订阅消费消息，如果要根据Topic来订阅消息，势必遍历CommitLog中存储的消息来过滤Topic，这种方式的性能是非常差的。因此MQ中设计了ConsumeQueue来提高消息消费性能，consumequeue文件可以看成是基于topic的commitlog索引文件。即每个Topic下的每个queueId对应一个Consumequeue，其中存储了消息对应在CommitLog文件中的物理偏移量offset，消息大小size，消息Tag的hash值

ConsumeQueue文件的存储路径为$HOME/store/consumequeue，其下文件夹组织方式为topic/queueId/consumequeue文件

先看第一层topic

第二层存储某个topic下的queueId

在queueId下才是具体的consumequeue文件

对应到代码里的数据结构就是

private final Concur