RocketMQ源码(二十一)之延迟消息

版本

1. 基于rocketmq-all-4.3.1版本

延迟消息

1. RocketMQ支持发送延迟消息，但不支持任意时间的延迟消息的设置，仅支持内置预设值的延迟时间间隔的延迟消息。Broker内部使用SCHEDULE_TOPIC_XXXX主题所有的延迟消息，根据延迟的level的个数，创建对应数量的ConsumeQueue，在创建ConsumeQueue时将其tagCode保存消息需要投递的时间。通过定时任务扫描ConsumeQueue，将满足条件的消息重新投递到原始的Topic中，这样消费者就可以消费了

2. 预设值的延迟时间间隔为：1s、 5s、 10s、 30s、 1m、 2m、 3m、 4m、 5m、 6m、 7m、 8m、 9m、 10m、 20m、 30m、 1h、 2h

3. 延迟消息的ConsumeQueue存储的tagsCode与普通消息不同

   • 延时消息的tagCode:存储的是消息到期的时间
   • 非延时消息的tagCode: tags字符串的hashCode

4. 延迟消息整体交互图
   

发送延迟消息

1. Producer发送延迟消息与普通发送没有太大区别，只需要设置延迟一个级别即可。延迟级别并不是时间，只是一个数字，如果超过最大值，则会被重置为最大值

   Message message = new Message(topic, tag, keys, msg.getBytes(RemotingHelper.DEFAULT_CHARSET));
   //messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h
   //这里就表示10s
   message.setDelayTimeLevel(3);
   

2. Message#setDelayTimeLevel的实现可以看到，是向消息扩展属性中添加一个DELAY属性

   public static final String PROPERTY_DELAY_TIME_LEVEL = "DELAY";
   public void setDelayTimeLevel(int level) {
        
       this.putProperty(MessageConst.PROPERTY_DELAY_TIME_LEVEL, String.valueOf(level));
   }
   

3. Consumer提供消息重试的，在并发模式消费消费失败的情况下，可以返回一个枚举值 ConsumeConcurrentlyStatus.RECONSUME_LATER，那么消息之后将会进行重试。默认会进行重试16次，消息重试。Consumer发送的延迟时间间隔为：10s、 30s、 1m、 2m、 3m、 4m、 5m、 6m、 7m、 8m、 9m、 10m、 20m、 30m、 1h、 2h。即消息重试的16个级别，即重试16次。

   SendMessageProcessor#consumerSendMsgBack
     
   if (0 == delayLevel) {
        
     	//从10ms开始
        delayLevel = 3 + msgExt.getReconsumeTimes();
    }
    msgExt.setDelayTimeLevel(delayLevel);
   

Broker处理延迟消息

1. Broker端接收处理与普通消息没有区别，只是在存储的时候有一些不同。CommitLog#putMessage对于延迟消息做了相关处理

   • 将消息的Topic更改为延迟消息特定的主题SCHEDULE_TOPIC_XXXX，根据延迟级别获取queueId（等于delayLevel-1）
   • 将原始Topic、Queue备份在消息的扩展属性中(为了后续恢复原始，能被消费)
   • 保存消息到CommitLog中，异步生成ConsumeQueue和indexFile，这个和普通消息没什么区别

   final int tranType = MessageSysFlag.getTransactionValue(msg.getSysFlag());
   // 事务prepare消息不支持延迟消息
   if (tranType == MessageSysFlag.TRANSACTION_NOT_TYPE
       || tranType == MessageSysFlag.TRANSACTION_COMMIT_TYPE) {
        
       // Delay Delivery 0表示不延迟，大于0表示特定的延迟级别
       if (msg.getDelayTimeLevel() > 0) {
        
           if (msg.getDelayTimeLevel() > this.defaultMessageStore.getScheduleMessageService().getMaxDelayLevel()) {
        
               msg.setDelayTimeLevel(this.defaultMessageStore.getScheduleMessageService().getMaxDelayLevel());
           }
           //延迟投递消息的topic
           topic = ScheduleMessageService.SCHEDULE_TOPIC;
           //根据延迟级别获取queueId（等于delayLevel - 1）
           queueId = ScheduleMessageService.delayLevel2QueueId(msg.getDelayTimeLevel());
   
           // Backup real topic, queueId
           //存入真实的topic和queueId存入消息属性中
           MessageAccessor.putProperty(msg, MessageConst.PROPERTY_REAL_TOPIC, msg.getTopic());
           MessageAccessor.putProperty(msg, MessageConst.PROPERTY_REAL_QUEUE_ID, String.valueOf