排查linux cup占用100%,某个应用的CPU使用率达到100%，如何排查？

测试工具

ab(apache bench)是一个常用的 HTTP 服务性能测试工具

安装：sudo apt install apache2-utils

相关文件

/proc/stat

# 只保留各个CPU的数据

$ cat /proc/stat | grep ^cpu

cpu 280580 7407 286084 172900810 83602 0 583 0 0 0

cpu0 144745 4181 176701 86423902 52076 0 301 0 0 0

cpu1 135834 3226 109383 86476907 31525 0 282 0 0 0

每一列的含义如下：

user(通常缩写为 us)，代表用户态 CPU 时间。注意，它不包括下面的 nice 时间，但包括了 guest 时间。

nice(通常缩写为 ni)，代表低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意，nice 可取值范围是 -20 到 19，数值越大，优先级反而越低。

system(通常缩写为 sys)，代表内核态 CPU 时间。

idle(通常缩写为 id)，代表空闲时间。注意，它不包括等待 I/O 的时间(iowait)。

iowait(通常缩写为 wa)，代表等待 I/O 的 CPU 时间。

irq(通常缩写为 hi)，代表处理硬中断的 CPU 时间。

softirq(通常缩写为 si)，代表处理软中断的 CPU 时间。

steal(通常缩写为 st)，代表当系统运行在虚拟机中的时候，被其他虚拟机占用的 CPU 时间。

guest(通常缩写为 guest)，代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的 CPU 时间。

guest_nice(通常缩写为 gnice)，代表以低优先级运行虚拟机的时间。

而我们通常所说的 CPU 使用率，就是除了空闲时间外的其他时间占总 CPU 时间的百分比。

分析工具

pidstat 命令展示内容的说明

用户态 CPU 使用率 (%usr)

内核态 CPU 使用率(%system)

运行虚拟机 CPU 使用率(%guest)

等待 CPU 使用率(%wait)

总的 CPU 使用率(%CPU)

perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。

安装：sudo apt install linux-tools-common

使用：

# -g开启调用关系分析，-p指定进程ID

$ perf top -g -p

小结

CPU 使用率是最直观和最常用的系统性能指标，更是我们在排查性能问题时，通常会关注的第一个指标。根据几种不同的CPU使用率有不同的思考方向：

用户 CPU 和 Nice CPU 高，说明用户态进程占用了较多的 CPU，所以应该着重排查进程的性能问题。

系统 CPU 高，说明内核态占用了较多的 CPU，所以应该着重排查内核线程或者系统调用的性能问题。

I/O 等待 CPU 高，说明等待 I/O 的时间比较长，所以应该着重排查系统存储是不是出现了 I/O 问题。

软中断和硬中断高，说明软中断或硬中断的处理程序占用了较多的 CPU，所以应该着重排查内核中的中断服务程序。

碰到 CPU 使用率升高的问题，你可以借助 top、pidstat 等工具，确认引发 CPU 性能问题的来源；再使用 perf 等工具，排查出引起性能问题的具体函数。