线上服务器频繁出现CPU高负载问题，重启Tomcat后恢复正常。通过排查，怀疑是代码中的定时任务或死循环引起，但日志未显示异常。通过jvm分析，发现大量线程GC活动，特别是httpProxy_jsp线程活跃。最终发现同事编写的HTTP请求工具类中，未设置超时时间，导致请求长时间等待，引发JVM频繁GC，CPU飙升。设置超时限制后问题解决。总结经验：JVM问题复杂，需结合多种方式分析；避免引入未经验证的自创代码。
背景
线上web服务器不时的出现非常卡的情况，登录服务器top命令发现服务器CPU非常的高，重启tomcat之后CPU恢复正常，半天或者一天之后又会出现同样的问题。解决问题首先要找到问题的爆发点，对于偶现的问题是非常难于定位的。
重启服务器之后只能等待问题再次出现，这时候首先怀疑是否某个定时任务引发大量计算或者某个请求引发了死循环，所以先把代码里面所有怀疑的地方分析了一遍，加了一点日志，结果第二天下午问题再次出现，
这次的策略是首先保护案发现场，因为线上是两个点，把一个点重启恢复之后把另一个点只下线不重启保留犯罪现场。
排查
在问题的服务器上首先看业务日志，没有发现大量重复日志，初步排除死循环的可能，接下来只能分析jvm了。
第一步：top命令查看占用CPU的pid
这是事后的截图，当时的cpu飙高到500多，pid是27683
然后ps aux | grep 27683 搜索一下确认一下是不是我们的tomcat占用的cpu，这个基本是可以肯定的，因为tomcat重启之后CPU立马就降下来了。
也可以使用jps显示java的pid
第二步：top -H -p 27683 查找27683下面的线程id，显示线程的cpu的占用时间，占用比例，发现有很多个线程都会CPU占用很高，只能每个排查。
第三步：jstack查看线程信息，命令：jstack
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
