jstack解决线上发布失败问题记录

jstack解决线上问题记录

问题现象

之前也有看过jstack的文章，典型的案例是deadLock和空闲线程调优。不过都不是这次遇到的问题。

这次的问题现象是容器发布时，tomcat输出的日志就卡在某行日志，需要大约半小时的时间才继续输出日志并且启动成功。启动成功后也没有明显的错误日志。

解决步骤

首先猜想是某个线程卡住了，一般来说是网络资源连接。果断使用jstack进行导出日志。

接着进行分析，可以直接取看文件内容，也可以通过线上或者idea的Analyze Stack Trace or Thread Dump功能进行分析。

本次使用的是idea的方式。

这里怎么去找block的线程呢？

个人觉得有两种办法:

1. 去找tomcat相关线程block的堆栈，与外部线程有关的一般就是。
2. 理解tomcat的模型后，知道catalina会启动多个host，所以localhost的waiting肯定会造成catalina的waiting。从host -> catalinade -> main的关系进行查看，查看怀疑的线程。

从堆栈中可以明显看到是elsatic search的init造成了block。然后通过加日志的方式证明的确是这部分代码影响的。原来是elastic search的外部环境变化，某些节点不可用导致的。调整配置后解决。