linux性能分析之CPU篇

lanhuazui10

已于 2023-06-08 21:45:54 修改

阅读量3.1k

点赞数 2

分类专栏： linux命令操作系统知识文章标签： linux 服务器

于 2023-06-08 21:28:21 首次发布

原文链接：https://blog.csdn.net/WANGYONGZIXUE/article/details/124067945

版权

linux命令同时被 2 个专栏收录

37 篇文章 2 订阅

订阅专栏

操作系统知识

24 篇文章 2 订阅

订阅专栏

前言

本文介绍linux性能优化CPU相关的知识点，首先介绍了CPU相关的性能指标，接着介绍经常使用的工具如 pidstat、sar、vmstat等并演示其使用方法，最后介绍性能分析时常用的方法与策略。

一、CPU 性能指标
1、CPU使用率
用户CPU使用率：CPU使用率高，通常说明有应用程序比较繁忙；

系统CPU使用率：CPU使用率高，说明内核比较繁忙；

等待I/O的CPU使用率：iowait,表示等待I/O的时间百分比，iowait高通常说明系统与硬件设备I/O交互时间比较长；

软中断和硬中断的CPU使用率，内核调用软中断处理程序，硬中断处理程序的百分比。

2、负载均衡
平均负载其实就是平均活跃进程数。平均负载大于CPU数量表示CPU不足以服务线程，有些线程在等待；如果平均负载小于CPU数量，这代表还有一些余量。

主要包括三个数值，分别值过去1分钟，5分钟，15分钟的平均负载

平均负载与 CPU 使用率关系：平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数。所以，它不仅包括了正在使用 CPU 的进程，还包括等待 CPU 和等待 I/O 的进程。

CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；
I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高。
3、上下文切换
频繁上下文切换，将时间消耗在寄存器、内核栈以及虚拟内存等数据保持与恢复上。切换分为以下两类：

1）无法获取资源而导致的自愿上下文切换；

2）被系统强制调度导致的非自愿上下文切换；

4、CPU缓存命中率
CPU速度比内存访问速度快得多，协调这两者巨大性能差距，使用CPU缓存。缓存的是热点的内存数据。L1 L2 L3到缓存。L1 L2常用在单核中，L3则用在多核中。L1->L3三级缓存大小依次增大，相应性能依次降低。命中率衡量的是CPU缓存的复用情况，命中率越高，则性能越好。

二、常用工具

1、uptime
功能：打印平均负载，系统运行时间

root@ubuntu:~# uptime
06:03:29 up 7:18, 3 users, load average: 0.08, 0.04, 0.00

最后三个数字是1,5,15分钟内的平均负载。通过这三个值可以判断系统负载在此段时间内上升，下降还是平稳。

如果 1 分钟、5 分钟、15 分钟的三个值基本相同，或者相差不大，那就说明系统负载很平稳。

把系统的平均负载监控起来，然后根据更多的历史数据，判断负载的变化趋势，一般当平均负载高于 CPU 数量 70% 的时候，应该分析排查负载高的问题。

查看几个 CPU数量

root@ubuntu:~# grep 'model name' /proc/cpuinfo | wc -l
1

2、vmstat
功能：报告虚拟内存统计信息

root@ubuntu:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 5816612 459976 678352 0 0 40 26 209 587 1 1 98 0 0
0 0 0 5816484 459976 678344 0 0 0 0 225 540 1 1 98 0 0
0 0 0 5816484 459976 678344 0 0 0 0 218 531 0 0 100 0 0
2 0 0 5816360 459976 678344 0 0 0 0 215 501 1 0 99 0 0
0 0 0 5816356 459984 678336 0 0 0 28 223 690 0 0 100 0 0

3、mpstat
功能：报告处理器相关的统计信息

报告每个CPU的统计信息，-p ALL 用来打印CPU的报告，默认只打印系统级别的总结信息

root@ubuntu:~# mpstat -P ALL 1
Linux 4.4.0-31-generic (ubuntu) 04/09/2022 _i686_ (1 CPU)

06:28:33 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
06:28:34 AM all 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
06:28:34 AM 0 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00

06:28:37 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
06:28:38 AM all 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
06:28:38 AM 0 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
^C

Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 0.20 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 99.40
Average: 0 0.20 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 99.40

4、top
功能：显示最消耗CPU的任务，并且有百分百

top - 06:39:36 up 7:54, 3 users, load average: 0.01, 0.02, 0.00
Tasks: 273 total, 1 running, 272 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.3 sy, 0.0 ni, 99.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 8292140 total, 2534920 used, 5757220 free, 461192 buffers
KiB Swap: 2094076 total, 0 used, 2094076 free. 740660 cached Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1319 root 20 0 290452 97532 56896 S 0.7 1.2 0:49.04 Xorg
1359 www-data 20 0 15072 2992 2220 S 0.3 0.0 0:00.43 nginx
2187 wy 20 0 5048 3160 2088 S 0.3 0.0 0:00.52 dbus-daemon
2620 wy 20 0 128620 29844 21980 S 0.3 0.4 0:05.81 gnome-terminal
3520 wy 20 0 1557464 773340 129048 S 0.3 9.3 6:51.34 firefox
5460 root 20 0 5568 2852 2356 R 0.3 0.0 0:00.02 top
1 root 20 0 4584 3740 2524 S 0.0 0.0 0:01.24 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:01.99 ksoftirqd/0
4 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
7 root 20 0 0 0 0 S 0.0 0.0 0:01.62 rcu_sched
8 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcu_bh

按键盘数字“1”，可监控每个逻辑CPU的状况

top - 06:45:37 up 8:00, 3 users, load average: 0.00, 0.00, 0.00
Tasks: 272 total, 2 running, 270 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.3 us, 0.0 sy, 0.0 ni, 99.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 8292140 total, 2548596 used, 5743544 free, 461544 buffers
KiB Swap: 2094076 total, 0 used, 2094076 free. 770464 cached Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1319 root 20 0 290452 97532 56896 S 0.3 1.2 0:49.67 Xorg
1553 root 10 -10 5224 272 36 S 0.3 0.0 0:12.73 monitor
2620 wy 20 0 136816 28208 22008 R 0.3 0.3 0:06.29 gnome-terminal
1 root 20 0 4584 3740 2524 S 0.0 0.0 0:01.24 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd

5、sar
功能：收集、报告或保存系统活动信息

5.1、查看CPU使用情况

(base) root@ubuntu:~# sar -u 1 3
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:24:45 PM CPU %user %nice %system %iowait %steal %idle
09:24:46 PM all 0.00 0.00 0.25 0.00 0.00 99.75
09:24:47 PM all 0.00 0.00 0.25 0.00 0.00 99.75
09:24:48 PM all 0.00 0.00 0.00 0.00 0.00 100.00
Average: all 0.00 0.00 0.17 0.00 0.00 99.83

5.2、查看平均负载

(base) root@ubuntu:~# sar -q 1 3
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:26:14 PM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked
09:26:15 PM 0 693 0.05 0.03 0.00 0
09:26:16 PM 0 693 0.05 0.03 0.00 0
09:26:17 PM 0 693 0.05 0.03 0.00 0
Average: 0 693 0.05 0.03 0.00 0
runq-sz 运行队列的长度；plist-sz 进程列表中的进程和线程数的数量。

5.3、查看内存

root@ubuntu:~# sar -r 1 3
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:27:38 PM kbmemfree kbavail kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty
09:27:39 PM 4307984 6159644 3809328 46.93 405700 1434912 5049120 49.43 2221224 738988 48
09:27:40 PM 4307984 6159644 3809328 46.93 405700 1434912 5049120 49.43 2221224 738988 48
09:27:41 PM 4307952 6159612 3809360 46.93 405700 1434912 5049120 49.43 2221224 738988 48
Average: 4307973 6159633 3809339 46.93 405700 1434912 5049120 49.43 2221224

5.4、查看I/O和传输速率

root@ubuntu:~# sar -b 1 3
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:28:27 PM tps rtps wtps bread/s bwrtn/s
09:28:28 PM 2.00 0.00 2.00 0.00 24.00
09:28:29 PM 0.00 0.00 0.00 0.00 0.00
09:28:30 PM 0.99 0.00 0.99 0.00 158.42
Average: 1.00 0.00 1.00 0.00 61.13

5.5、更多说明和使用

man sar

EXAMPLES
sar -u 2 5
Report CPU utilization for each 2 seconds. 5 lines are displayed.

sar -I 14 -o int14.file 2 10
Report statistics on IRQ 14 for each 2 seconds. 10 lines are displayed. Data are
stored in a file called int14.file.

sar -r -n DEV -f /var/log/sysstat/sa16
Display memory and network statistics saved in daily data file 'sa16'.

sar -A
Display all the statistics saved in current daily data file.

6、pidstat
功能: 上报Linux任务的统计信息

按进程或线程打印CPU用量，包括用户态和系统态时间的分解

查看man pidstat查看使用说明

cpu使用情况统计(-u)，针对特定进程统计(-p)

root@ubuntu:~# pidstat 1
Linux 4.4.0-31-generic (ubuntu) 04/09/2022 _i686_ (1 CPU)

06:48:37 AM UID PID %usr %system %guest %CPU CPU Command
06:48:38 AM 0 1319 1.00 0.00 0.00 1.00 0 Xorg
06:48:38 AM 0 5488 0.00 1.00 0.00 1.00 0 pidstat

06:48:43 AM UID PID %usr %system %guest %CPU CPU Command
06:48:44 AM 0 5488 0.00 1.00 0.00 1.00 0 pidstat
^C

Average: UID PID %usr %system %guest %CPU CPU Command
Average: 0 1319 0.29 0.29 0.00 0.57 - Xorg
Average: 0 1564 0.00 0.14 0.00 0.14 - monitor
Average: 1000 2486 0.00 0.29 0.00 0.29 - compiz
Average: 1000 2620 0.14 0.00 0.00 0.14 - gnome-terminal
Average: 1000 3520 0.14 0.00 0.00 0.14 - firefox
Average: 0 5488 0.29 0.43 0.00 0.72 - pidstat
6.1、上下文切换查看

(base) root@ubuntu:~# pidstat -w -p 20671 1 10
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:16:17 PM UID PID cswch/s nvcswch/s Command
09:16:18 PM 0 20671 0.00 0.00 dhclient
09:16:19 PM 0 20671 0.00 0.00 dhclient
09:16:20 PM 0 20671 0.00 0.00 dhclient
09:16:21 PM 0 20671 0.00 0.00 dhclient
09:16:22 PM 0 20671 0.00 0.00 dhclient
^C
Average: 0 20671 0.00 0.00 dhclient
6.2、内存使用情况统计(-r)

(base) root@ubuntu:~# pidstat -r -p 20671 1 10
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:17:36 PM UID PID minflt/s majflt/s VSZ RSS %MEM Command
09:17:37 PM 0 20671 0.00 0.00 25992 6280 0.08 dhclient
09:17:38 PM 0 20671 0.00 0.00 25992 6280 0.08 dhclient
09:17:39 PM 0 20671 0.00 0.00 25992 6280 0.08 dhclient
09:17:40 PM 0 20671 0.00 0.00 25992 6280 0.08 dhclient
^C
Average: 0 20671 0.00 0.00 25992 6280 0.08 dhclient
6.3、IO情况统计(-d)

(base) root@ubuntu:~# pidstat -d -p 20671 1 10
Linux 5.4.0-107-generic (ubuntu) 04/09/2022 _x86_64_ (4 CPU)

09:18:13 PM UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
09:18:14 PM 0 20671 0.00 0.00 0.00 0 dhclient
09:18:15 PM 0 20671 0.00 0.00 0.00 0 dhclient
09:18:16 PM 0 20671 0.00 0.00 0.00 0 dhclient
09:18:17 PM 0 20671 0.00 0.00 0.00 0 dhclient
^C
Average: 0 20671 0.00 0.00 0.00 0 dhclient
6.4、其它

以1秒为信息采集周期，分别获取cpu、内存和磁盘IO的统计信息。

pidstat -u 1
pidstat -r 1
pidstat -d 1

7、cat /proc/sotfirqs
功能：查看软中断

TIMER（定时中断）、NET_RX（网络接收）、NET_TX（网络发送）、SCHED（内核调度）、RCU（RCU 锁）中，网络接收与发送变化最快。

三、分析CPU性能瓶颈方法
通常先运行几个支持指标较多的工具，top,vmstat和pidstat

从 top 的输出可以得到各种 CPU 使用率以及僵尸进程和平均负载等信息。
从 vmstat 的输出可以得到上下文切换次数、中断次数、运行状态和不可中断状态的进程数。
从 pidstat 的输出可以得到进程的用户 CPU 使用率、系统 CPU 使用率、以及自愿上下文切换和非自愿上下文切换情况。

分析举例
1）当发现 top 输出的软中断 CPU 使用率升高时，可以查看 /proc/softirqs 文件中各种类型软中断的变化情况，可以用网络分析工具 sar 和 tcpdump 来分析。

2）当发现 top 输出的用户 CPU 使用率有问题时，可以跟 pidstat 的输出做对比，观察是否是某个进程导致的问题。找到进程再用进程分析工具来分析进程的行为，如使用 strace 分析系统调用情况，以及使用 perf 分析函数的执行情况。

3）top 输出的平均负载升高，可以跟 vmstat 输出的运行状态和不可中断状态的进程数做对比，观察是哪种进程导致的负载升高。

如果是不可中断进程数增多了，那么就需要做 I/O 的分析，dstat 或 sar 工具。
如果是运行状态进程数增多了，需要回到 top 和 pidstat，找出这些处于运行状态的到底是什么进程。

四、性能调优
1，编译器选项
编译器提高代码优化选项，对CPU有很大影响。

2、进程绑定
一个进程可以绑定在一个或者多个CPU上，这样可以通过提高缓存温度和内存本地性来提高性能

(base) root@ubuntu:~# taskset -pc 1-2 22182
pid 22182's current affinity list: 0-3
pid 22182's new affinity list: 1,2
限制了PID为22182的进程只能跑在CPU1,CPU2之间。

3，独占CPU组
linux提供CPU组，允许编组CPU并为其分配进程。可以提高性能，使得CPU组独占，不允许其他进程使用。

mkdir /dev/cpuset
mount -t cpuset cpuset /dev/cpuset
cd /dev/cpuset
mkdir prodset

echo 1 > /sys/fs/cgroup/cpuset/prodset/cpuset.cpu_exclusive #独占
echo 0 > /sys/fs/cgroup/cpuset/prodset/cpuset.mems
echo 3 > /sys/fs/cgroup/cpuset/prodset/cpuset.cpus #CPU分配

echo 22612 > /sys/fs/cgroup/cpuset/prodset/tasks #分配进程

原文链接：

（一文了解）linux性能分析之CPU篇_linux cpu_为了维护世界和平_的博客-CSDN博客

一文掌握 Linux 性能分析之 CPU 篇