理解CPU使用率和CPU上下文切换

1、CPU使用率

1.1 CPU使用率查看

当发现服务或机器卡的时候，我们都是先通过top命令查看服务器CPU使用率

#默认每3秒刷新一次
top
top - 18:10:58 up 1216 days, 7:38, 4 users, load average: 23.06, 24.54, 23.72
Tasks: 839 total, 15 running, 824 sleeping, 0 stopped, 0 zombie
%Cpu(s): 4.2 us, 0.7 sy, 0.0 ni, 94.7 id, 0.3 wa, 0.0 hi, 0.1 si, 0.0 st
KiB Mem : 26390464+total, 3420264 free, 44052232 used, 21643214+buff/cache
KiB Swap: 7812092 total, 7812092 free, 0 used. 11175941+avail Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15135 postgres 20 0 98.579g 2.376g 2.375g R 52.9 0.9 131:00.20 postgres

18147 postgres 20 0 98.628g 29640 25648 R 52.9 0.0 0:00.09 postgres

15438 postgres 20 0 98.628g 136444 128192 S 41.2 0.1 0:01.02 postgres

18244 postgres 20 0 98.628g 18608 15440 S 29.4 0.0 0:00.05 postgres

18276 postgres 20 0 98.628g 18848 15564 S 17.6 0.0 0:00.03 postgres

…

输出结果字段解释如下：

• user（通常缩写为 us），代表用户态 CPU 时间。注意，它不包括下面的 nice 时间，但包括了 guest 时间。
• nice（通常缩写为 ni），代表低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意，nice 可取值范围是 -20 到 19，数值越大，优先级反而越低。
• system（通常缩写为 sys），代表内核态 CPU 时间。
• idle（通常缩写为 id），代表空闲时间。注意，它不包括等待 I/O 的时间（iowait）。
• iowait（通常缩写为 wa），代表等待 I/O 的 CPU 时间。
• irq（通常缩写为 hi），代表处理硬中断的 CPU 时间。
• softirq（通常缩写为 si），代表处理软中断的 CPU 时间。
• steal（通常缩写为 st），代表当系统运行在虚拟机中的时候，被其他虚拟机占用的 CPU 时间。
• guest（通常缩写为 guest），代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的 CPU 时间。
• guest_nice（通常缩写为 gnice），代表以低优先级运行虚拟机的时间。

空格之后是进程的实时信息，每个进程都有一个%CPU列，表示进程的CPU使用率。它是用户态和内核态CPU使用率的总和，包括进程用户使用的CPU、通过系统调用执行的内核空间CPU、以及在就绪队列允许的CPU。但是该命令没有屈服进程的用户态CPU和内核态CPU。需要怎么查看每个进程的详细情况就需要pidstat命令了。

#每隔1秒输出一组数据，共5组
$ pidstat 1 5

Linux 3.10.0-327.36.3.el7.x86_64 (map-traffic-dataprocess00.gz01) 06/06/2020 x86_64 (48 CPU)

06:26:56 PM UID PID %usr %system %guest %CPU CPU Command

06:26:57 PM 0 58 0.00 0.96 0.00 0.96 22 rcu_sched

06:26:58 PM 26 22926 1.00 1.00 0.00 2.00 6 postgres

06:26:58 PM 26 22943 1.00 0.00 0.00 1.00 8 postgres

…

Average: UID PID %usr %system %guest %CPU CPU Command

Average: 0 58 0.00 0.98 0.00 0.98 - rcu_sched

Average: 26 22943 0.49 0.00 0.00 0.49 - postgres

Average: 26 22950 0.49 0.00 0.00 0.49 - postgres

…

输出数据的字段解释如下：

• 用户态 CPU 使用率 （%usr）；
• 内核态 CPU 使用率（%system）；
• 运行虚拟机 CPU 使用率（%guest）；
• 等待 CPU 使用率（%wait）；
• 以及总的 CPU 使用率（%CPU）。

1.2 如何分析CPU使用率高的进程

经常使用perf分析CPU性能问题，常用方法是使用perf top ,类似于top，能够实时显示占用CPU时钟最多的函数或者指令，因此可以用来查找热点函数

$ perf top

Samples: 314K of event ‘cycles’, Event count (approx.): 128422426035

Overhead Shared Object Symbol

24.60% libc-2.17.so [.] __strcoll_l

18.70% libc-2.17.so [.] get_next_seq

4.90% postgres [.] XLogInsert

3.98% postgres [.] _bt_compare

输出结果中，第一行包含三个数据，分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。
再往下看是一个表格式样的数据，每一行包含四列，分别是：

• 第一列 Overhead ，是该符号的性能事件在所有采样中的比例，用百分比来表示。
• 第二列 Shared ，是该函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态链接库名、内核模块名等。
• 第三列 Object ，是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库，而 [k] 则表示内核空间。
• 最后一列 Symbol 是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

2、系统上下文切换

CPU上下文切换按照场景分为：进程上下文切换、线程上下文切换和中断上下文切换。下面重点介绍如何分析CPU上下文切换问题：
vmstat是一个常用的系统性能分析工具，主要用来分析系统的内存使用情况，也常用来分析CPU上下文切换和中断的次数。

#每隔5秒输出一组数据
$ vmstat 5

procs -----------memory---------- —swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st

8 3 0 3620412 13352 202348336 0 0 765 126 0 0 4 1 95 0 0

60 0 0 2957900 13372 203044688 0 0 340577 50 170121 307445 14 2 81 2 0

60 3 0 3517864 13380 202474976 0 0 326373 37 175463 315599 18 2 77 2 0

分析这个结果，需要特别关注4列内容：

1. cs (context switch) 每秒上下文切换次数
2. in (interrupt) 每秒中断的次数
3. r (Running or Runnable) 就绪队列的长度，等于正在运行和等待CPU的进程数
4. b (Blocked) 处于不可中断睡眠状态的进程数

可以看到上述例子中上下文切换次数CS都大于10W次，而系统中断次数in也都大于10W次，就绪队列长度r为10，不可中断状态的进程数是0.

查看系统CPU 个数为48个

$ grep ‘model name’ /proc/cpuinfo | wc -l
​

48

结合vmstat的结果看，r列的值为60，大于系统CPU 个数，所以肯定会有大量的CPU竞争
in列中断次数大于10W次，说明中断处理也是个潜在的问题。

vmstat给出了系统总体的上下文切换情况，要想查看每个进程的详细情况，就需要使用pidstat命令。给它加上-w选项，可以查看每个进程上下文切换的情况。

#每隔 5 秒输出 1 组数据
pidstat -w 5
Linux 3.10.0-327.36.3.el7.x86_64 (xxxxxxxxxxxx) 06/05/2020 x86_64 (48 CPU)

06:25:04 PM UID PID cswch/s nvcswch/s Command

06:25:09 PM 0 58 376.34 0.00 rcu_sched

06:25:09 PM 26 42818 80.91 0.00 postgres

Average: UID PID cswch/s nvcswch/s Command

Average: 0 1555 0.20 0.00 odin-log-agent

Average: 0 1878 0.99 0.00 supervisord

Average: 0 2689 0.40 0.00 kworker/5:0H

Average: 26 4370 12433.72 0.00 postgres

这个结果中有两列内容是我们重点关注的对象：cswch（voluntary context switches）和nvscwch(non voluntary context switches)。cswch表示每秒自愿上下文切换的次数，nvcswch描述每秒非自愿上下文切换的次数。
自愿上下文切换是指进程无法获取所需资源，导致的上下文切换，比如I/O、内存等系统资源不足时发生的切换
非自愿上下文切换是指由于进程时间片已到等原因，被系统强制调度，进而发生的上下文切换。比如大量进程都在争抢CPU时，就容易发生非自愿上下文切换。
从pidstat输出结果可以看出，上下文切换则是来自postgres进程，

中断类型定位

中断类型定位需要从/proc/interrupts文件中读取。/proc是Linux的一个虚拟文件系统，用于内核空间与用户空间直接的通信。/proc/interrutps就是这种通信机制的一部分，提供了一个只读的中断使用情况。

总结

每秒上下文切换多少次才算正常呢？这个数值其实取决于系统本身的CPU性能。如果系统的上下文切换次数比较稳定，那么从数百到一万以内都应该算是正常的。单当上下文切换次数超过一万次，或者切换次数出现数量级的增长时，就很可能已经出现了性能问题。
​

这时还需要根据上下文切换的类型，再做具体分析：

• 自愿上下文切换变多了，说明进程都在等待资源，有可能发生了I/O等其他问题；
• 非自愿上下文切换变多了，说明进程都在被强制调度，说明都在争抢CPU，CPU成了瓶颈
• 中断次数变多了，说明CPU被中断处理程序占用，还需要通过查看/proc/interrupts文件来分析具体的中断类型。