Linux 系统 CPU 占用率较高问题排查思路

1. 使用vmstat查看系统维度的CPU负载

用法说明：

格式：vmstat -n 1  # -n 1 表示结果一秒刷新一次。

示例输出：

[root@localhost ~]# vmstat -t 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- -----timestamp-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st                 CST
 2  0      0 1062804   2108 499156    0    0   128    17  150  399  0  0 99  0  0 2021-08-27 14:52:40
 1  0      0 1062804   2108 499188    0    0     0     0  150  375  0  1 99  0  0 2021-08-27 14:52:41
 2  0      0 1062804   2108 499188    0    0     0     0  148  370  0  0 100  0  0 2021-08-27 14:52:42
 1  0      0 1062804   2108 499188    0    0     0     0  148  367  1  0 99  0  0 2021-08-27 14:52:43
 0  0      0 1062804   2108 499188    0    0     0     0  135  362  0  0 100  0  0 2021-08-27 14:52:44

回显说明：

返回结果中的主要数据列说明： 

r： 表示系统中 CPU 等待处理的线程。由于 CPU 每次只能处理一个线程，所以，该数值越大，通常表示系统运行越慢。
us：用户模式消耗的 CPU 时间百分比。该值较高时，说明用户进程消耗的 CPU 时间比较多，比如，如果该值长期超过 50%，则需要对程序算法或代码等进行优化。
sy：内核模式消耗的 CPU 时间百分比。
wa：IO 等待消耗的 CPU 时间百分比。该值较高时，说明 IO 等待比较严重，这可能磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。
id：处于空闲状态的 CPU 时间百分比。如果该值持续为 0，同时 sy 是 us 的两倍，则通常说明系统则面临着 CPU 资源的短缺。

2. 使用top查看进程维度的CPU负载

可以通过 top 从进程纬度来查看其 CPU、内存等资源的使用情况。

用法说明：

格式：top

示例输出：

[root@localhost ~]# top
top - 14:54:45 up 50 min,  1 user,  load average: 0.00, 0.02, 0.05
Tasks: 105 total,   1 running, 104 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.3 si,  0.0 st
KiB Mem :  1862988 total,  1062056 free,   299292 used,   501640 buff/cache
KiB Swap:  2097148 total,  2097148 free,        0 used.  1408264 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                                                                          
   969 root      20   0  137072   2184   1180 S  0.7  0.1   0:02.12 redis-server                                                                                     
   958 root      20   0  574280  17468   6164 S  0.3  0.9   0:00.51 tuned                                                                                            
  1161 mongodb   20   0 1574252  79324  10204 S  0.3  4.3   0:10.42 mongod                                                                                           
     1 root      20   0   43688   4008   2600 S  0.0  0.2   0:00.78 systemd                                                                                 
     2 root      20   0       0      0      0 S  0.0  0.0   0:00.00 kthreadd                                                                                         
     4 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:0H                                                                                     
     5 root      20   0       0      0      0 S  0.0  0.0   0:00.03 kworker/u256:0                                                                                   
     6 root      20   0       0      0      0 S  0.0  0.0   0:00.11 ksoftirqd/0                                                                                      
     7 root      rt   0       0      0      0 S  0.0  0.0   0:00.00 migration/0                                                                                      
     8 root      20   0       0      0      0 S  0.0  0.0   0:00.00 rcu_bh                                                                                           
     9 root      20   0       0      0      0 S  0.0  0.0   0:01.10 rcu_sched                                                                                        
    10 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 lru-add-drain                                                                                    
    11 root      rt   0       0      0      0 S  0.0  0.0   0:00.01 watchdog/0                                                                                       
    13 root      20   0       0      0      0 S  0.0  0.0   0:00.00 kdevtmpfs  

回显说明：

默认界面上第三行会显示当前 CPU 资源的总体使用情况，下方会显示各个进程的资源占用情况。

可以直接在界面输入大小字母 P，来使监控结果按 CPU 使用率倒序排列，进而定位系统中占用 CPU 较高的进程。最后，根据系统日志和程序自身相关日志，对相应进程做进一步排查分析，以判断其占用过高 CPU 的原因。

操作案列：

使用top命令看到CPU usr占用只有0.5%，但sys占用超过11%。想知道是哪个进程/线程sys占用这么多。可以按以下步骤来分析：

1）按1 显示各CPU占用情况；
2）按f，然后按j，按Return，选择P最后使用的CPU；
3）按H 显示线程；
4）按c 显示命令；
根据CPU#查看P列对应的命令。

 

3. 使用top直接终止CPU消耗较大的进程

如前面所述，可以通过 top 命令查看系统的负载问题，并定位耗用较多 CPU 资源的进程。

可以直接在 top 运行界面快速终止相应的异常进程。说明如下：

1）想要终止某个进程，只需按下小写的 k 键。

2）输入想要终止的进程 PID （top 输出结果的第一列）。如下图所示，假如想要终止 PID 为 23 的进程，输入 23 后按回车。

3）如下图所示，操作成功后，界面会出现类似 “Send pid 23 signal [15/sigterm]” 的提示信息让用户进行确认。按回车确认即可

4. CPU使用率较低但负载较高

问题描述：

Linux 系统没有业务程序运行，通过 top 观察，类似如下图所示，CPU 很空闲，但是 load average 却非常高：

处理办法：

load average 是对 CPU 负载的评估，其值越高，说明其任务队列越长，处于等待执行的任务越多。
出现此种情况时，可能是由于僵死进程导致的。可以通过指令 ps -axjf  查看是否存在 D 状态进程。D 状态是指不可中断的睡眠状态。该状态的进程无法被 kill，也无法自行退出。只能通过恢复其依赖的资源或者重启系统来解决。

5. kswapd0 进程占用 CPU 较高

操作系统都用分页机制来管理物理内存，操作系统将磁盘的一部分划出来作为虚拟内存，由于内存的速度要比磁盘快得多，所以操作系统要按照某种换页机制将不需要的页面换到磁盘中，将需要的页面调到内存中，由于内存持续不足，这个换页动作持续进行，kswapd0是虚拟内存管理中负责换页的，当服务器内存不足的时候kswapd0会执行换页操作，这个换页操作是十分消耗主机CPU资源的。如果通过top发现该进程持续处于非睡眠状态，且运行时间较长，可以初步判定系统在持续的进行换页操作，可以将问题转向内存不足的原因来排查。 
问题描述:

kswapd0 进程占用了系统大量 CPU 资源。 

处理办法:

Linux 系统通过分页机制管理内存的同时，将磁盘的一部分划出来作为虚拟内存。而 kswapd0 是 Linux 系统虚拟内存管理中负责换页的进程。当系统内存不足时，kswapd0 会频繁的进行换页操作。而由于换页操作非常消耗 CPU 资源，所以会导致该进程持续占用较高 CPU 资源。 
如果通过 top 等监控发现 kswapd0 进程持续处于非睡眠状态，且运行时间较长并持续占用较高 CPU 资源，则通常是由于系统在持续的进行换页操作所致。则可以通过 free 、ps 等指令进一步查询系统及系统内进程的内存占用情况，做进一步排查分析。