7张图揭晓RocketMQ存储设计的精髓

简介： RocketMQ 作为一款基于磁盘存储的中间件，具有无限积压能力，并提供高吞吐、低延迟的服务能力，其最核心的部分必然是它优雅的存储设计。

存储概述

RocketMQ 存储的文件主要包括 Commitlog 文件、ConsumeQueue 文件、Index 文件。

RocketMQ 将所有主题的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大能力确保消息发送的高可用性与高吞吐量。

但消息中间件一般都是基于主题的订阅与发布模式，消息消费时必须按照主题进行帅选消息，显然从 Commitlog 文件中按照 topic 去筛选消息会变得及其低效，为了提高根据主题检索消息的效率，RocketMQ 引入了 ConsumeQueue 文件，俗成消费队列文件。

关系型数据库可以按照字段属性进行记录检索，作为一款主要面向业务开发的消息中间件，RocketMQ 也提供了基于消息属性的检索能力，底层的核心设计理念是为 Commitlog 文件建立哈希索引，并存储在 Index 文件中。

在 RocketMQ 中顺序写入到 Commitlog 文件后，ConsumeQueue 与 Index 文件都是异步构建的，其数据流向图如下：

存储文件组织方式

RocketMQ 在消息写入过程中追求极致的磁盘顺序写。所有主题的消息全部写入一个文件，即 Commitlog 文件。所有消息按抵达顺序依次追加到文件中，消息一旦写入，不支持修改。Commitlog 文件的具体布局如下图所示：

基于文件编程与基于内存编程有一个很大的不同是在基于内存的编程模式中我们有现成的数据结构，例如 List、HashMap，对数据的读写非常方便，那么一条一条消息存入文件 Commitlog 后，该如何查找呢？

正如关系型数据会为每一条数据引入一个 ID 字段，在基于文件编程的模型中，也会为一条消息引入一个身份