cpu占用高线上问题排查

在线上运行的服务器，被发现cpu占用率高的问题。

赠送一个工具齐全的jdk安装（包括tools.jar，jmap ....）
yum install -y java-1.8.0-openjdk-devel-debug 

第一步：top指令

一般cpu占用率搞和内存占用高，都是先用top看一看详情，top后可以按p来按照cpu使用率排序进程。

这边用的图不是发生问题机器，主要是记录一下思路和方法

通过top我们可以发现cpu占用率高的pid，记录一下

 第二步：ps -ef |grep pid

查看该进程运行的是什么项目

第三步：top -H -p  pid

查看该进程下的各线程使用资源情况

第四步：jstack

使用jstack pid 可以查看线程信息，一般线程信息比较多，用grep也看不出来啥  建议把信息输入到文本，使用vim或者本地分析

可以看出线程的状态，上图的nid是pid的16进制表示，可以使用命令printf "%x\n"  pid 查看将pid转成16进制的值

waiting on conditon 说明在等待被唤醒。Timer_WAITING则表示定时等待，waiting（parking）表示一直等条件唤醒。

- parking to wait for  <0x000000078598d080> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)

 可以看出在等待地址为0x000000078598d080的资源，我们可以搜索一下是谁对这个地址lock了

还可以看出 GC的情况，这边GC的挺多的，其实是这个程序写的并不好，问题挺多的....

第五步：jstat -gcutil  pid 1000  10 

这里可以看看gc的具体情况   1000表示1秒，10表示查看10秒的信息

S0C、S1C、S0U、S1U：Survivor 0和1区容量（Capacity）和使用量（Used）
EC、EU：Eden区容量和使用量
OC、OU：年老代容量和使用量
PC、PU：永久代容量和使用量
YGC、YGT：年轻代GC次数和GC耗时
FGC、FGCT：Full GC次数和Full GC耗时
GCT：GC总耗时

 

 

附加调试常用指令

查看物理cpu个数 
cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l  

查看物理cpu中的core个数
cat /proc/cpuinfo |grep "cpu cores"|wc -l

逻辑cpu个数
cat /proc/cpuinfo |grep "processor"|wc -l