tomcat假死的奇葩解决办法

前言

4.23日下午5.30是个美丽的周五,想着这周服务不会出现问题,就潇洒的没有带电脑走了,到了晚上8.30左右,Q群里反馈服务出现问题了,当时还在和朋友一起吃饭,一直在远程联系部署组重启服务器后应该会恢复,结果本来一台的报警变为全部四台服务器都报警,只能灰溜溜的跑来公司看问题.

找问题

因为之前出现过一次这种假死问题,当时去日志查看都是数据库有大量的数据库报错问题,经查是因为很早之前开发好的接口一直没用,今晚集中调用后出现数据库连接未关闭的bug,打了一个版本优化之后好了;

但是当晚的catalina.out日志停滞,查询localhost日志发现有大量请求进来,但是没有返回,这时怀疑是项目问题,去server.xml文件将项目全部注掉重启发现tomcat起来了,并且能访问到tomcat的根目录,所以得在这几个注掉的项目中查看是那个出问题了,结果排除法一个一个查,发现了有个项目是挂载本地目录的软链接,经过排查,这个软链接指定的对应服务器被关机了,导致请求量访问这个业务时一直没有得到回应,项目起不来,临时处理办法就是将这个业务先停掉,把其他业务先恢复,经过一顿操作,其他业务正常恢复,这次得带着带电脑回去了,这时已经晚上12点了,我的公交已经没了,打个滴滴回家.
<Context path="/cmsh" docBase="/home/was/app/webapps/cmsh" debug="0" reloadable="true" crossContext="true"/>

到这里应该就结束了吧

但是,但是滴滴走半路,Q群依旧报警说业务又挂了(今晚是不让我好过啊),我神速回到家继续找问题,这时晚上12.30分,我打开服务器查看tomcat日志发现日志在同一时间点就不走了(如下图↓↓↓),再看请求也有进来的,我准备先对A台服务器进行疯狂配置,首先重启了下A服务器恢复了,没过几分钟又挂掉了,我继续调试,怀疑是有缓存导致的,进work目录看了下有个可疑文件<SESSIONS.ser>,百度后发现有这个文件存在不妙啊,大概是说tomcat上次关闭时还有一些活动连接，所以在重启时tomcat尝试去恢复这些session,所以照成了启动一会儿又挂了,将work文件下的所以文件删除后重启观察半小时后无问题,收工睡觉,时间:2.30分,折腾人的一晚上.

问题总结

1.本地软链接链接的服务器给关机了,导致tomcat给假死,临时注释掉问题业务重启恢复.
2.tomcat work目录下的session的缓存一直存在,最好写个脚本,重启tocmat时将work缓存目录一并清除

把今晚较奇葩的问题记录一下吧,防止以后的我遇到这种问题又浪费好多时间,哈哈

每天进步一点点~~