CPU 100%问题排查总结

一、排查思路

1.根据top和ps命令查找到进程中CPU利用率最高的线程(内核级线程)
2.将内核级线程的十进制转成十六进制
3.根据jstack命令获取JVM级的线程信息

二、实战总结:
【1】定位高负载进程 pid：登录进服务器使用 top 或 top -c命令[ps -ef | grep xxx 命令]查看当前 CPU消耗过高的进程，从而得到进程id。观察各个进程资源使用情况，可以看出进程id为10423的进程，有着较高的CPU占比。按P(大写)可以倒序查看占CPU占用率。

【2】根据 Pid查出消耗 cpu最高的线程号：top -Hp 10423，按下P，进程按照 Cpu使用率排序。找出最耗 Cpu的线程，结果发现10566是就耗了99.3%。一般超过80%就是比较高的，80%左右是合理情况。这样我们就能得到CPU消耗比较高的线程id。

【3】将进程10423里面的cpu超过80%以上的线程pid(10566)转换成16进制2946(jstack命令不适用于十进制),如下如所示:

【4】根据线程号查出对应的 java线程：jstack 10423| vim +/0x2946- 查看线程的堆栈信息。也可以通过 jstack -l 10423 > ./10423.stack 将线程的信息导出到 10423.statck 文件。然后执行，grep命令，看线程0x2946 做了什么 。cat 10423.stack | grep ‘0x2946’ -C 8 查看文件中线程的堆栈信息。也可以通过jstack 10423 | grep ‘0x2946’ -A 30查看堆栈信息. 这里我们就可以区分导致 CPU过高的原因具体是 Full GC次数过多还是代码中有比较耗时的计算了。如果是Full GC次数过多，那么通过 jstack得到的线程信息会是类似于VM Thread之类的线程，而如果是代码中有比较耗时的计算，那么我们得到的就是一个线程的具体堆栈信息[如下]。

最后排除出来是这个for循环导致jvm上面的常量池中不断的存放字符串,导致cpu飙高,同时也有oom内存溢出的风险,严重怀疑是之前同事留的后门,所以在日常开发工作中代码检视至关重要.