项目场景:
由于线上RocketMq的控制台消费者下的Delay字段会根据消息数量递增,但是并不影响消息消费,业务也是正常的,通过搜集案例和阅读源码,终于找到了原因,在此记录下;
问题描述
如图,Delay已经累积到5000+了,并且只要有消息消费就会继续增加,但是集群模式下消息被消费就会减少时正常的。
问题复现:
复现步骤就是:先创建集群模式的消费者,消费消息后再改为广播模式,这时候就会复现当前问题了。
原因分析:
1.想要解决这个问题,首先要知道Delay这个值是怎么来的
2.其次要知道集群模式和广播模式下消息消费进度offset的相关概念;
- Delay:指的是消息积压的数量,就是还未消费的消息数量,它是由BrokerOffset减去ConsumerOffset计算出来的。Delay越大,说明消费端消费缓慢;
- BrokerOffset:当前的broker的MessageQueue中已经有的消息数量,包括已消费和未消费的;
- ConsumerOffset:消费者消费MessageQueue的消费位置;
所以由上也可以得出Delay越大,消费端消费的越慢,或者说生产者生产的消费越来越多,消费者的性能已经遇到瓶颈了。
而集群模式和广播模式下消费进度offset的管理也是不一样的
集群模式:offset使用的是远程模式管理,所有Counsumer共享其下的Queue的消费进度。在broker的store/config/consumerOffset.json中,就可以看到消费者组的json信息,是以主题topic名称@消费者组名称为key,consumerQueue的顺序:已经消费的消息数量为值,组成的键值对记录消费信息;例如:"topic_xxx@consumer_xxx":{0:1,1:0,2:0,3:0 },对应的
由以上json或者图片可以看到,queue2还有1条未消费的消息。
而这个json的更新逻辑是:Consumer成功消费后,会将messageQueue的offset进行更新,同事Consumer客户端会将offset同步给Broker,Broker收到更新offset请求后,就会启动定时任务区刷盘,将offset持久化更新到consimerOffset.json文件中。
广播模式:offset使用的是本地存储模式。因为每条消费都会被所有的消费者消费,所以每个消费者管理自己的消费进度。当前的消费信息就不会像集群模式一样会在consumerOffset.json里面更新。
而我是先用的集群模式,已经将当前的消费者信息记录在consumerOffset.json中,后又改为广播模式,但是consumerOffset.json中的消费者信息还一直存在,所以Delay的值就只增不减,因为brokerOffset一直在增加,但是cousumerOffset并未减少。
解决方案:
只用新建消费者组,在启动的时候设置为广播模式,就不会出现该问题;