Redisson分布式锁释放超时导致MQ消费过慢

一、问题现象

一个需要通过消费MQ导入200w数据量的项目。在项目上线前一天,在QA环境对MQ消费进行压测,发现消费链路异常的长,导致整体消费速率过慢。

因为本身已经用sentinel对MQ消费做了限流,限流速率又正好和这个缓慢的速度差不多,所以一直没发现MQ消费本身就过慢:tw-1f605:。

二、排查过程

1.在解除sentinel限流之后发现MQ依然龟速消费,一开始怀疑是不是sentinel限流控制有延迟,又或者我们公司中间件有其他对mq消费的默认限速。在重启服务和询问中间件相关同事后确认应该不是限流导致的问题。

2.怀疑自己代码拉垮了(常有的事~),于是去查具体的消费链路,一看还真是。

但是公司的监控系统只会在rpc调用、数据源访问上打点,可是看链路,这些都没啥异常,那这个将近4000ms的时间到底耗费在哪里了呢?

3.搬出神器,鼎鼎大名的Arthas,用来诊断java程序各种问题。在容器里安装启动Arthas后,复现了MQ消费的场景,然后trace咱们的消费方法发现:

竟然是释放锁超时了。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值