如何处理线上CPU100%的故障现象

如何处理线上CPU100%的故障现象

在处理线上故障时，发现团队中有些小伙伴在出现cpu100%的情况时，不知道如何着手，因此记录下，如下：

现象

CPU持续不断100%，程序运行缓慢

处理流程：

1. 登陆线上机器top命令，查看耗费cpu的进程号，举例来说发现进程3997持续耗费资源

2. top -H -p 3997去查看持续耗费cpu的线程号30437（图示为举例来说，目前并不高）

   

3. printf "%x\n" 30437将线程号转为16进制，转换为76e5

4. jstack 3997 > jstack.txt使用jmap工具将进程3997的线程堆栈打印出来

5. 在jstack.txt中搜索76e5就可以看到这个持续耗费cpu的线程的堆栈信息，进而分析出程序在做什么

注意：jmap只能打印当前时间点的线程堆栈，线程切换比较频繁的情况下，并不好抓，所以在某些情况下需要持续观察线程号占用cpu的频率，抓起来要准一些。

其他

有些时候分析完堆栈日志后，却发现占用cpu最高的是GC线程。此时该怎么办呢？

GC不停执行，就说明内存出现了问题，如果不是JVM初始设置内存过小的情况下，基本上是程序出现了频繁创建大对象的行为，如果这个现象是突然出现，此时分析最近刚上线的代码及定时任务执行及外部系统调用导致会比较有效。如果分析不出来，需要使用jmap统计下jvm的对象，来看下对象占用比。

注意：该命令可能会造成程序假死，所以生产环境谨慎使用！！

jmap -histo 3997 >jmap2018.txt

可以根据jvm中的对象数量做下分析，哪些对象是不应该出现过大或者过多数量的，进而分析代码。

频繁创建大对象的操作并不难定位，祝君好运！