CPU使用率的查看以及性能分析（perf top/record/report）

CPU使用率

Linux通过/proc虚拟文件系统，向用户空间提供了系统内部状态的信息。
/proc/stat提供的就是系统的CPU和任务统计信息。
执行命令cat /proc/stat | grep ^cpu，表示只保留各个CPU的数据，结果如下：

输出表示：
第一行表示所有CPU的不同场景下的累加节拍数。
Tips：为了维护 CPU 时间,Linux 通过事先定义的节拍率(内核中表示为 HZ),触发时间中断,并使用全局变量 Jiffies 记录了开机以来的节拍数。每发生一次时间中断,Jiffies 的值就加 1。通过命令grep 'CONFIG_HZ=' /boot/config-$(uname -r)可以查看系统配置的节拍率，即每秒钟触发多少次时间中断。
第一列：CPU编号
接下来的几列:
usr（缩写为us），代表用户态CPU时间。不包含nice时间，包括guest时间
nice（缩写ni），代表低优先级用户态CPU时间。nice可取范围为-20~19，数值越大，优先级越低。
system（缩写为sys），代表内核态CPU时间。
idle（缩写为id），代表空闲时间。不包括等待I/O的时间（iowait）
iowait（缩写为wa），代表等待I/O的CPU时间
irq（缩写为hi），代表处理硬中断的CPU时间
softirq（缩写为si），代表处理软中断的CPU时间
steal（缩写为st），代表当系统运行在虚拟机中时，被其他虚拟机占用的CPU时间
guest，代表虚拟化运行其他操作系统的时间，也就是运行虚拟机的CPU时间
guest_nice（缩写为gnice），代表以低优先级运行虚拟机的时间。
CPU使用率的定义则是：

/proc/stat 的数据记录的是开机以来的节拍累积值，所以算出来的是平均CPU使用率。
一般来说，性能工具回取间隔一段时间（如3s）的两次值，作差后，再计算这段时间内的平均CPU使用率：

查看CPU使用率（top、pidstat解释）

关于top与ps：
top 显示了系统总体的 CPU 和内存使用情况,以及各个进程的资源使用情况。
ps 则只显示了每个进程的资源使用情况。
top命令中的第三行%cpu即系统CPU使用率，默认显示的是平均值

空白行之后是进程实时信息，每个进程都有一个%CPU列，表示进程的CPU使用率。该使用率 = 用户态 + 内核态CPU使用率的总和，包括进程用户空间使用的CPU、通过系统调用执行的内核空间CPU、就绪队列等待运行的CPU。
再按1，切换显示每个CPU使用率。

接下来使用pidstat:
包括了：
用户态CPU使用率（%usr）
内核态CPU使用率（%system）
运行虚拟机CPU使用率（%guest）
等待CPU使用率（%wait）
总的CPU使用率（%CPU）
最后输出平均值

# 隔 1 秒 输出一组数据， 共输出5组
pidstat 1 5
21时55分30秒   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
21时55分31秒     0        54    0.00    1.00    0.00    0.00    1.00     7  ksoftirqd/7
21时55分31秒  1000      1311    1.00    0.00    0.00    0.00    1.00     4  gnome-shell
21时55分31秒  1000      3170    0.00    1.00    0.00    0.00    1.00     1  pidstat
...
平均时间:   UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
平均时间:     0        54    0.00    0.25    0.00    0.00    0.25     -  ksoftirqd/7
平均时间:     0       135    0.00    0.25    0.00    0.00    0.25     -  kworker/u16:2-phy0
平均时间:  1000       998    0.25    0.25    0.00    0.00    0.50     -  Xorg
平均时间:  1000      1311    1.25    0.50    0.00    0.00    1.75     -  gnome-shell
平均时间:  1000      2370    0.25    0.00    0.00    0.00    0.25     -  chrome
平均时间:  1000      2712    0.75    0.00    0.00    0.00    0.75     -  chrome
平均时间:  1000      3157    0.50    0.00    0.00    0.00    0.50     -  gnome-terminal-
平均时间:  1000      3170    0.25    0.75    0.00    0.00    1.00     -  pidstat

CPU使用率过高

使用perf，它以性能事件采样为基础，可以分析系统的各种事件和内核性能，也可以分析指定应用程序的性能问题。

perf top

类似于top，它能够实时显示占用CPU时钟最多的函数或者指令，因此可以用来查找热点函数。如：

$ perf top
2 Samples: 833
3 Overhead
of event 'cpu-clock', Event count (approx.): 97742399
Shared Object Symbol
4 7.28% perf [.] 0x00000000001f78a4
5 4.72% [kernel] [k] vsnprintf
6 4.32% [kernel] [k] module_get_kallsym
7 3.65% [kernel] [k] _raw_spin_unlock_irqrestore

输出结果解释：
第一行，包含三个数据： 采样数（Samples）、事件类型（event）和事件总数量（Event count）。
下面的表格数据包含四列：
第一列： Overhead，该符号的性能事件在所有采样中的比率
第二列：Shared，该函数或指令所在的动态共享对象，如内核、进程名、动态链接库名、内核模块等
第三列：Object，是动态共享对象的类型，比如[.]表示用户空间的可执行程序，或者动态链接库，[k]表示内核空间。
第四列：Symbol，符号名，即函数名。当函数名未知时，用16进制的地址表示

perf record 和 perf report

perf top 能够实时展示系统性能，但是不能保存数据，也就无法用于离线或者后续的分析。
而perf record 提供了保存数据的功能，保存后的数据，需要使用perf report 来解析展示：

perf record # 按下 ctrl + c 终止采样
[perf record: Woken up 1 times to write data]
[perf record: Captured and wrote 0.452 MB perf.data(6093 samples) ]

perf report # 展示类似于perf top的报告

在实际使用中经常为perf top 和 perf record 加上 -g 参数，开启调用关系的采样，方便根据调用链来分析性能。