RocketMQ集群突发大量超时问题排查及优化

π大星的日常

于 2023-09-04 14:00:22 发布

阅读量227

点赞数

分类专栏： java 文章标签： java-rocketmq rocketmq java

本文链接：https://blog.csdn.net/m0_73311735/article/details/132667866

版权

本文详述了一次RocketMQ集群出现大量超时问题的排查过程，从初次排查、查看RocketMQ日志到深入分析线程池模型、网络、客户端SDK差异、堆外内存等各个方面。最终发现是线程池被占满导致任务堆积，提出了增大线程池、减少请求、添加监控和限流等优化措施。

摘要由CSDN通过智能技术生成

缘起

访问线上的RocketMQ集群的dashboard突然上不去了提示超时

初次排查

看报错很清晰可以看到就是timeout

所以最简单的是增加了超时时间(我多等一会)，从5s增加到10s，15s

但是发现并没有什么用，还是超时

这时候初步怀疑是网络问题

查看RocketMQ log

这时候没什么其他办法，只能去服务器上面看看有没有错误log

发现服务器存在大量报错log

java

复制代码

at io.netty.channel.AbstractChannel$AbstractUnsafe.write(ObjectChannelPromise)(Unknown Source) 08-18 19:43:53 ERROR NettyServerNIOSelector_3_2 - Failed to write ressponse[request code: 41, response code: 0, opaque: 166429356] to chanel[id: 0xc0b80baf, L:/192.168.1:30911 R:/192.168.2:56824]

这里可以看到的错误就是RocketMQ broker一直想要将client请求的数据响应给client，但是client都没有接受这个响应，因为broker与client之间的连接已经关闭了大致流程如下

所以这里看到的情况就是服务端一直在报错

client一直向broker发送请求，但是这些请求broker处理了，client却在接收响应前断开连接了

这个错误会导致dashboard连接不上吗？单看这个log并不能看出问题，我们再看看RocketMQ的remote.log文件看看，发现有大量的channelGegistered


java

复制代码

2023-08-18 20:26:57 INFO NettyServerCodecThread_8 - NETTY SERVER PIPELINE: channelRegistered 192.168.1.12:60912 2023-08-18 20:26:58 INFO NettyServerCodecTh