记一次生产httpclient导致的tomcat假死事件

写在前面：现在负责的项目组中，有一个客户内部的现场管理系统，由于系统年份较久，之前一直部署在ibm小型机上，九月份进行了一次大规模的系统迁移工作。迁移具体实施这里不做细述。迁移完成之后系统改成在X86资源池上使用tomcat集群部署，使用F5做负载。
在系统运行一周以后，会经常出现域名无法访问，外围系统单点无法进入系统的现象。考虑可能是其中一台机器挂死，单独通过ip+port访问两台应用，发现其中一台访问无法接入。但是域名也访问不了，说明f5负载还是连接到了这台挂死的机器。
ps -ef|grep tomcat查看系统进程，进程正常
查看系统日志，未发现有报错日志，只是从某一个时间点之后，Catalina.out日志已不再记录

分析：结合现象分析可能是资源未释放导致应用程序线程挂死。线程池被占满导致的所有的http请求无法接入

1，登录挂死应用部署机器执行：netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’ 查看是否存在阻塞链接

未见异常。
关于命令相关状态描述如下：
CLOSED：无连接是活动的或正在进行
LISTEN：服务器在等待进入呼叫
SYN_RECV：一个连接请求已经到达，等待确认
SYN_SENT：应用已经开始，打开一个连接
ESTABLISHED：正常数据传输状态
FIN_WAIT1：