线上是否遇到过消息积压的问题,下游消费系统宕机了,导致几百万条消息在消息中间件里积压,如何处理?

线上是否遇到过消息积压的问题,下游消费系统宕机了,导致几百万条消息在消息中间件里积压,如何处理?
首先要找到导致消息堆积的原因,是Producer太多了还是Consumer太少了导致的;
并且检查消息消费速度是否正常,正常的话,可以通过上线更多consumer临时解决消息堆积问题;
如果Consumer和Queue个数不对等,上线了多台Consumer在短时间内也无法消费完堆积的消息;
准备一个临时的topic(里面定义queue的个数非常大);
queue的数量是堆积的几倍;
上线一台Consumer,把原来Topic中的消息通过Consumer消费并投递到新的Topic中,不做业务逻辑处理,只是把消息消费并投递过去;
上线N台Consumer同时消费临时Topic中的数据;
至此完成了堆积消息的消费,后续再修改程序bug,恢复原来的Consumer,继续消费之前的Topic;

追问:堆积时间过长消息消失了?

RocketMQ中的消息只会在commitLog被删除的时候才会消失,也就是说未被消费的消息不会存在超时删除这情况;

追问:堆积的消息会不会进死信队列?

不会,消息在消费失败后才会进入重试队列(%RETRY%+ConsumerGroup),16次(默认16次)失败才会进入死信队列(%DLQ%+ConsumerGroup);

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时小浅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值