消息服务器mq集群出现假死,排查tomcat项目假死原因的简单方法

项目背景

tomcat部署java应用，主要功能是通过线程池，读取mq消息进行消费处理，完成后，更新数据库消息状态。

项目问题

当并发量略大时，发现部分项目开始出现假死状态，不再进行消费。重启后恢复。

排查方法

发现问题后，保留现场。先把线程信息留存分析。

# 获取项目pid

ps aux | grep tomcat_xxx_xxx

# 导出线程信息到文件备查

jstack pid > thread.txt

在thread.txt文件中，尝试查找“BLOCKED”关键字，看看是否有线程阻塞，示例如下：

"pool-1-thread-65" #190 prio=5 os_prio=0 tid=0x00007f96b8092000 nid=0x2a7fa waiting for monitor entry [0x00007f97096d1000]

java.lang.Thread.State: BLOCKED (on object monitor)

at com.db.DbConn.getConnection(DbConn.java:79)

- waiting to lock <0x00000006dbe97f40> (a java.lang.Class for com.db.DbConn)

at com.rabbitmq.client.impl.ConsumerWorkService$WorkPoolRunnable.run(ConsumerWorkService.java:99)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

可以看到，线程阻塞在获取数据库连接的方法上，问题确定。

总结

代码中，要谨慎评估和使用线程同步方法，特别是一些老项目的代码，要加强巡查。