消息队列常见问题之消息发生大量堆积应该怎么处理

  • 线上故障了,怎么处理

    • 消息堆积了10小时,有几千万条消息待处理,现在怎么办?
    • 修复consumer, 然后慢慢消费?也需要几小时才可以消费完成,新的消息怎么办
    • 核心思想:紧急临时扩容,更快的速度去消费数据

      - 修复Consumer不消费问题,使其恢复正常消费,根据业务需要看是否要暂停

      - 临时topic队列扩容,并提高消费者能力,但是如果增加Consumer数量,但是堆积的topic里面的message queue数量固定,过多的consumer不能分配到message queue


      - 编写临时处理分发程序,从旧topic快速读取到临时新topic中,新topic的queue数量扩容多倍,然后再启动更多consumer进行在临时新的topic里消费

      - 直到堆积的消息处理完成,再还原到正常的机器数量
       

  • 3
    点赞
  • 4
    评论
  • 11
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值