RocketMQ源码分析(十三)之ConsumeQueue

最新推荐文章于 2024-06-28 21:49:00 发布

jannals

最新推荐文章于 2024-06-28 21:49:00 发布

阅读量564

点赞数

分类专栏： # RocketMQ源码分析文章标签： RocketMQ源码 ConsumeQueue

本文链接：https://blog.csdn.net/usagoole/article/details/126394788

版权

本文深入分析RocketMQ的ConsumeQueue，包括其作为索引文件的角色、消息加载与恢复过程、消息追加以及ReputMessageService和CommitLogDispatcher的工作原理。ConsumeQueue的每个实例对应一个queueId，存储格式为20B，包含消息的offset等信息，用于消费者定位CommitLog中的原始消息。

摘要由CSDN通过智能技术生成

版本

基于rocketmq-all-4.3.1版本

ConsumeQueue

每个ConsumeQueue都有一个queueId，queueId 的值为0到TopicConfig配置的队列数量。比如某个Topic的消费队列数量为4，那么四个ConsumeQueue的queueId就分别为0、1、2、3。
ConsumerQueue相当于CommitLog的索引文件，消费者消费时会先从ConsumerQueue中查找消息在CommitLog中的offset，再去CommitLog中找原始消息数据。如果某个消息只在CommitLog中有数据，没在ConsumerQueue中，则消费者无法消费
Consumequeue类对应的是每个topic和queuId下面的所有文件.默认存储路径是**$HOME/store/consumequeue/{topic}/{queueId}/{fileName}，每个文件由30w条数据组成，单个文件的大小是30w x 20Byte**
每一个ConsumeQueue存储的格式为commitLogOffset(8B)+size(4B)+tagHashCode(8B),总共20B。存tag是为了在Consumer取到消息offset后先根据tag做一次过滤，剩下的才需要到CommitLog中取消息详情

ConsumeQueue核心属性

public class ConsumeQueue {
     
   private final DefaultMessageStore defaultMessageStore;
   //映射文件队列，管理ConsumeQueue
   private final MappedFileQueue mappedFileQueue;
   // 消息topic
   private final String topic;
   // 消息队列Id
   private final int queueId;
   //指定大小的缓冲，记录的大小是20byte的固定大小
   private final ByteBuffer byteBufferIndex;
   //保存的路径
   private final String storePath;
   //映射文件的大小
   private final int mappedFileSize;
   //最后一个消息对应的物理偏移量  也就是在CommitLog中的偏移量
   private long maxPhysicOffset = -1;
   //最小的逻辑偏移量 在ConsumeQueue中的最小偏移量
   private volatile long minLogicOffset = 0;
   //ConsumeQueue的扩展文件
   private ConsumeQueueExt consumeQueueExt = null;
}

构造方法

public ConsumeQueue(
    final String topic,
    final int queueId,
    final String storePath,
    final int mappedFileSize,
    final DefaultMessageStore defaultMessageStore) {
     
    this.storePath = storePath;
    this.mappedFileSize = mappedFileSize;
    this.defaultMessageStore = defaultMessageStore;

    this.topic = topic;
    this.queueId = queueId;
    //存储路径${this.storePath}/{topic}/{queueId}/{fileName}
    String queueDir = this.storePath
        + File.separator + topic
        + File.separator + queueId;

    this.mappedFileQueue = new MappedFileQueue(queueDir, mappedFileSize, null);
    //分配一个存储单元大小（20B）的缓冲区
    this.byteBufferIndex = ByteBuffer.allocate(CQ_STORE_UNIT_SIZE);
    //是否启用消息队列的扩展存储
    if (defaultMessageStore.getMessageStoreConfig().isEnableConsumeQueueExt()) {
     
        this.consumeQueueExt = new ConsumeQueueExt(
            topic,
            queueId,
            StorePathConfigHelper.getStorePathConsumeQueueExt(defaultMessageStore.getMessageStoreConfig().getStorePathRootDir()),
            defaultMessageStore.getMessageStoreConfig().getMappedFileSizeConsumeQueueExt(),
            defaultMessageStore.getMessageStoreConfig().getBitMapLengthConsumeQueueExt()
        );
    }
}

加载(load)

Broker启动时，调用load加载ConsumeQueue。加载直接委托mappedFileQueue进行加载

public boolean load() {
     
    boolean result = this.mappedFileQueue.load();
    log.info("load consume queue " + this.topic + "-" + this.queueId + " " + (result ? "OK" : "Failed"));
    //扩展存储存在则加载
    if (isExtReadEnable()) {
     
        result &= this.consumeQueueExt.load();
    }
    return result;
}