jstack解决线上问题记录
问题现象
之前也有看过jstack的文章,典型的案例是deadLock
和空闲线程调优。不过都不是这次遇到的问题。
这次的问题现象是容器发布时,tomcat输出的日志就卡在某行日志,需要大约半小时的时间才继续输出日志并且启动成功。启动成功后也没有明显的错误日志。
解决步骤
首先猜想是某个线程卡住了,一般来说是网络资源连接。果断使用jstack
进行导出日志。
接着进行分析,可以直接取看文件内容,也可以通过线上或者idea的Analyze Stack Trace or Thread Dump
功能进行分析。
本次使用的是idea的方式。
这里怎么去找block的线程呢?
个人觉得有两种办法:
- 去找tomcat相关线程block的堆栈,与外部线程有关的一般就是。
- 理解tomcat的模型后,知道catalina会启动多个host,所以localhost的waiting肯定会造成catalina的waiting。从host -> catalinade -> main的关系进行查看,查看怀疑的线程。
从堆栈中可以明显看到是elsatic search的init造成了block。然后通过加日志的方式证明的确是这部分代码影响的。原来是elastic search的外部环境变化,某些节点不可用导致的。调整配置后解决。