jstack直接dump出jvm的thread statck解决系统运行过程中停止响应的问题

我之前就说过，如果没有能力解决错误就不要加工你的错误，最近又被线上的一个系统给坑到了~该坑出现的莫名其妙的，该系统使用人数不多，就公司内部的几百个人（用于提单之类的），突然该系统停止了响应（任何操作都很慢）。

按照这种情况，我们一般情况下会有几种操作。

1、查看项目日志（查看无特殊现象）

2、查看数据库健康状态

3、查看服务器的CPU、内存 、负载等情况

4、查看jvm的gc等情况

5、回滚上一个版本（一般是最后的手段）

坑在于不知不觉才会踩中，在所有的操作都无果之后~我发觉我踩坑了。后来放了一个html文件在那个项目里面，发觉访问之下也是几乎访问不了，最后想起这种情况应该属于是web容器的work线程无法接受请求了（一般情况下work线程只有cpu的1-2倍数）。

因为项目是java的web项目，java的项目因为基于jvm运行，所以查看线程的状态非常容易。直接用jstack就OK了~

jstack -F pid >jts.log（java进程id，可以用jps或者ps aux|grep java 去找），将线程的状态输出到jts.log文件

     值得关注的线程状态有：
     死锁，Deadlock（重点关注）
     执行中，Runnable  
     等待资源，Waiting on condition（重点关注）
     等待获取监视器，Waiting on monitor entry（重点关注）
     暂停，Suspended
     对象等待中，Object.wait() 或 TIMED_WAITING
     阻塞，Blocked（重点关注） 
     停止，Parked

Thread 30082: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - java.lang.ref.ReferenceQueue.remove(long) @bci=44, line=118 (Interpreted frame)
 - java.lang.ref.ReferenceQueue.remove() @bci=2, line=134 (Interpreted frame)
 - java.lang.ref.Finalizer$FinalizerThread.run() @bci=3, line=159 (Interpreted frame)


Thread 30081: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - java.lang.Object.wait() @bci=2, line=485 (Compiled frame)
 - java.lang.ref.Reference$ReferenceHandler.run() @bci=46, line=116 (Compiled frame)


Thread 30076: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - com.caucho.server.resin.ResinWaitForExitService.waitForExit() @bci=139, line=135 (Interpreted frame)
 - com.caucho.server.resin.Resin.waitForExit() @bci=35, line=1358 (Interpreted frame)
 - com.caucho.server.resin.Resin.main(java.lang.String[]) @bci=25, line=1407 (Interpreted frame)

这些就是dump出来的状态，可以看到线程是blocked的，这个时候还有一个技巧。看看有没有自己的代码引起的线程阻塞，可以直接在里面搜自己的代码包名，比如 com.xxx，这个时候如果有的话，就可以直接定位到哪个method了。

好了，最后公布下此事的结果，果然是个坑，开发这边的记录日志到直接把异常给捕获了然后吞掉了。数据库连接不上（某些特殊原因，不细讲），连接池会就重连，最后导致线程的资源消耗完了~~~~坑好大。。。。