RocketMq控制台消费者的Delay一直增加

项目场景:

由于线上RocketMq的控制台消费者下的Delay字段会根据消息数量递增,但是并不影响消息消费,业务也是正常的,通过搜集案例和阅读源码,终于找到了原因,在此记录下;


问题描述

 如图,Delay已经累积到5000+了,并且只要有消息消费就会继续增加,但是集群模式下消息被消费就会减少时正常的。


问题复现:

复现步骤就是:先创建集群模式的消费者,消费消息后再改为广播模式,这时候就会复现当前问题了。

原因分析:

1.想要解决这个问题,首先要知道Delay这个值是怎么来的

2.其次要知道集群模式和广播模式下消息消费进度offset的相关概念;

  • Delay:指的是消息积压的数量,就是还未消费的消息数量,它是由BrokerOffset减去ConsumerOffset计算出来的。Delay越大,说明消费端消费缓慢;
  • BrokerOffset:当前的broker的MessageQueue中已经有的消息数量,包括已消费和未消费的;
  • ConsumerOffset:消费者消费MessageQueue的消费位置;

所以由上也可以得出Delay越大,消费端消费的越慢,或者说生产者生产的消费越来越多,消费者的性能已经遇到瓶颈了。

而集群模式和广播模式下消费进度offset的管理也是不一样的

集群模式:offset使用的是远程模式管理,所有Counsumer共享其下的Queue的消费进度。在broker的store/config/consumerOffset.json中,就可以看到消费者组的json信息,是以主题topic名称@消费者组名称为key,consumerQueue的顺序:已经消费的消息数量为值,组成的键值对记录消费信息;例如:"topic_xxx@consumer_xxx":{0:1,1:0,2:0,3:0 },对应的

由以上json或者图片可以看到,queue2还有1条未消费的消息。

而这个json的更新逻辑是:Consumer成功消费后,会将messageQueue的offset进行更新,同事Consumer客户端会将offset同步给Broker,Broker收到更新offset请求后,就会启动定时任务区刷盘,将offset持久化更新到consimerOffset.json文件中。

广播模式:offset使用的是本地存储模式。因为每条消费都会被所有的消费者消费,所以每个消费者管理自己的消费进度。当前的消费信息就不会像集群模式一样会在consumerOffset.json里面更新。

而我是先用的集群模式,已经将当前的消费者信息记录在consumerOffset.json中,后又改为广播模式,但是consumerOffset.json中的消费者信息还一直存在,所以Delay的值就只增不减,因为brokerOffset一直在增加,但是cousumerOffset并未减少。


解决方案:

只用新建消费者组,在启动的时候设置为广播模式,就不会出现该问题;

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值