【操作系统】Linux性能优化诊断pidstat+mpstat详解

1.CPU压测环境准备

（1）目标：分析Linux相关性能指标，找出CPU平均负载升高的进程和原因

• 平均负载升高的主要原因

• 多个进程争抢CPU、等待IO、CPU上下文切换

• 命令：mpstats（全局）多核CPU性能分析程序，实时查看每个CPU的性能指标和全部CPU的平均性能指标

• 命令：pidstats（局部）实时查看进程的CPU、内存、I/O、上下文切换等指标

• 命令：vmstats（全局）实时查看系统的上下文切换（跨进程间，同个进程里多个子线程）、系统中断次数

（2）环境准备

• 命令安装 sysstat

yum install gcc -y
yum install unzip -y

#sysstat资料包下载：https://github.com/sysstat/sysstat，下载完成上传服务器解压
unzip sysstat-master.zip

cd sysstat-master
./configure
make && make install

• 通过 pidstat -V 查看版本

• vmstats（多数系统自带）

• 两大模拟工具介绍+安装

  • stress多进程工具，模拟IO密集型应用、CPU密集型应用、多进程等待CPU调度场景，对CPU、内存、IO等情况进行压测

yum install -y epel-release

yum install stress -y

• sysbench多线程基准测试工具，模拟上下文切换过多场景

yum -y install make automake libtool pkgconfig libaio-devel
yum -y install mariadb-devel openssl-devel
yum -y install postgresql-devel

unzip sysbench-master.zip
cd sysbench-master
./autogen.sh
./configure --without-mysql
make && make install

• sysbench --version

• 什么是基准测试Banchmark Testing

  • 指通过设计科学的测试方法，测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试

  • 技术人员为了确定当前环境、系统、服务器等性能情况而进行的测试，为了在同一环境条件下进行性能优化而进行的测试

  • 场景：数据库sql语句、索引、应用代码、网络、机器硬件配置等

  • 核心点：

    • 测试过程是可重复进行的
    • 每次的基准测试都应该在相同的环境条件下进行，除了某项测试变动，其他的软件和硬件组件等各种保持一致
    • 除了被测试系统是出于运行和可调整状态外，要避免有其他程序或者调整，以免影响基准测试结果

2.pidstat+mpstat命令详解

（1）sysstats工具包的命令mpstats+pidstats

• 【全局命令】mpstats
• 全称Multprocessor Statistics，多核CPU性能分析程序，实时查看每个CPU的性能指标和全部CPU的平均性能指标
• 场景：当系统变慢，CPU平均负载增大时，判断是CPU的使用率增大，还是IO压力增大的情况导致
• 格式 mpstat [-P {|ALL}] [ <时间间隔>] [ <次数> ] 比如 mpstat -P ALL 2 3 每隔2秒出一个报告数据，共出具3次
• 参数说明

参数	说明
-P	指定监控哪个CPU，范围是[ 0~(N-1)],ALL表示监控所有CPU都监控
internal	两次采样的间隔时间
count	总采样次数

• 显示信息

字段	说明
CPU	全部CPU和某个CPU，从0开始。下面每一行项加起来就是100%
%usr	用户态所使用CPU时间的百分比，CPU使用率
%nice	nice值为负进程的CPU时间，即使用nice命令对进程进行降级时CPU的百分比
%sys	内核态所使用CPU时间的百分比，CPU使用率
%iowait	CPU在等待I/O操作完成所消耗的时间，高表示可能I/O存在瓶颈
%irq	用于硬中断的CPU百分比
%soft	用于软中断的CPU百分比
%steal	虚拟机强制CPU等待的时间百分比
%guest	虚拟机占用CPU时间的百分比
%gnice	CPU运行niced guest虚拟机所花费的时间百分比
%idle	CPU空闲且系统没有未完成的磁盘I/O请求的时间百分比，CPU使用率低，iowait高，idle低的话可能是等待IO

• 【局部命令】pidstat

• 实时查看进程的CPU、内存、I/O、上下文切换等指标

• 格式：pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ] 比如：pidstat -u 2 3 每隔2秒出一个报告数据，一共出具3次

• 输出排序 pidstat -u | sort -k 8 -r

  • sort 排序
  • 指定排序用哪一列，下面的例子中是第8列：%CPU
  • -r 倒序

• 参数信息

参数	说明
-u	默认的参数，显示各个进程的CPU使用统计，监控CPU，pidstat和pidstat -u -p ALL是等效的
-r	显示各个进程的内存使用统计，监控内存
-d	显示各个进程的IO使用情况，监控硬盘
-p	指定进程号，比如pidstat -p 5
-w	显示每个进程的上下文切换情况
-t	显示选择任务的线程的统计信息外的额外信息

• 显示信息

字段	说明
PID	进程ID
%usr	进程在用户态所使用的CPU时间的百分比，CPU使用率
%system	进程在内核态所使用的CPU时间的百分比，CPU使用率
%guest	进程在虚拟机占用cpu的百分比
%wait	进程等待CPU的时间百分比，进程处于就绪队列中的状态等待CPU调度运行的百分比
%CPU	进程占用cpu的百分比，和top命令一样 等于 用户态CPU+内核态 CPU，如果要区分cpu哪个态多则用pidstat，不包括 %wait
CPU	处理进程的CPU编号
Command	当前进程对应的命令

3.CPU密集型应用案例实战

准备机器：2核8ESC服务器

压测工具 stress

• 多进程工具 ，模拟IO密集型应用、CPU密集型应用、多进程等待CPU调度场景, 对CPU，内存，IO等情况进行压测
• 参数说明

参数	说明
–timeout	指定运行多少秒
–cpu N	产生多个处理sqrt()函数的CPU进程，每个进程高频的计算随机数的平方根，模拟 CPU 计算密集型场景
–io N	产生多个处理sync()函数的磁盘I/O进程，每个进程高频调用 sync()，刷内存缓冲区到磁盘，模拟 I/O 密集型场景
–vm N	每个进程高频调用内存分配 malloc() 和 内存释放 free() 函数
–vm-bytes	指定 malloc() 时申请内存的字节数，默认256MB
–hdd N	产生N个高频执行write和unlink函数的进程 (创建/写入/删除 文件) , 属于磁盘IO进程
–hdd-bytes	每个 hdd worker进程写的byte数，默认1G

（1）模拟用户态CPU密集应用

(1) 模拟一个CPU核的使用率100%，对1个CPU进行压力测试 持续600s stress --cpu 1 --timeout 600
(2) -d 参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat 查看CPU使用率情况，每5s监控所有CPU情况 mpstat -P ALL 5
(4) 查看运行中的进程和任务，每5s刷新一次 pidstat -u 5

当系统变卡时，先看全局，找出系统是哪个资源出问题，是CPU还是IO，然后在具体看某个进程导致的资源问题。

• 当杀掉stress进程时，CPU使用率恢复正常

• **详细分析思路：**uptime运行一分钟后，两个核的CPU负载是1，mpstat查看当前系统的CPU使用率，发现CPU总使用率到达了50%，一个核的使用率到达了100%，%iowait为0，不存在io瓶颈，在通过pidstat对进程核任务的使用情况进行查看，发现stress对CPU其中一核的使用率达到了100%，最终定位到这个问题进程。
• **注意：**CPU使用率高，CPU平均负载也高； CPU平均负载高，CPU使用率不一定高

（2）模拟内核态CPU密集应用

(1) 模拟2个IO进程，持续600s stress --io 2 --timeout 600
(2) -d参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5s监控CPU使用情况 mpstat -P ALL 5
(4) 查看运行中的进程和任务，每5秒刷新一次 pidstat -u 5

4.IO密集型应用案例实战

（1）pidstat 查看进程IO使用情况，显示各活动进程的IO使用统计

字段	说明
PID	进程ID
kB_rd/s	每秒从磁盘读取的KB
kB_wr/s	每秒写入磁盘KB
kB_ccwr/s	每秒进程被取消向磁盘写的数据量（以kB为单位）
iodelay	块I/O延迟，包括等待同步块I/O和换入块I/O结束的时间
Command	当前进程对应的命令

(1) 模拟两个磁盘IO进程，持续600s stress --hdd 2 --hdd-bytes 6G --timeout 600
(2) -d 参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5秒监控所有CPU情况 mpstat -P ALL 2 3 每隔2秒出一个报告数据，一共出具三次
(4) 查看运行中的进程和任务，每5s刷新一次 pidstat -d 2 3每隔2秒出一个报告数据，一共出具三次

5.CPU多进程调度案例实战

(1) 模拟8个进程，也可以更多，持续600s stress --cpu 8 --timeout 600
(2) -d参数表示高亮显示变化的区域 watch -d uptime
(3) mpstat查看CPU使用率情况，每5秒监控所有CPU情况 mpstat -P ALL 2 3 每隔2秒出一个报告数据，一共出具三次
(4) 查看运行中的进程和任务，每5s刷新一次pidstat -u 2 3 每2s出一个报告数据，一共出具三次

• 对进程和任务的使用情况进行，发现%wait高，说明cpu不够用在等待cpu调度上花费了不少时间

• 8个进程在竞争2个cpu，每个进程等待cpu的时间达到75%（%wait），超出cpu计算能力的进程，导致了负载变高

• pidstat -u CPU情况，默认

• pidstat -d 磁盘IO情况 , 基本很低

6.pidstat命令详解进阶

• pidstat -w 进程上下文切换情况，显示各活动进程的上下文切换情况统计
  • cswch/s 每秒自愿上下文切换的次数
    • 进程获取不了所需要的资源导致上下文切换，比如I/O问题瓶颈，内存资源不足，会发生自愿上下文切换
  • nvcswch/s每秒非自愿上下文切换的次数
    • 进程由于调度算法，时间片已到等原因，被系统【强制调度】发生上下文切换，比如大量进程在抢夺CPU资源时，会发生非自愿上下文切换，CPU瓶颈出现问题

字段	说明
PID	进程ID
cswch/s	每秒自愿上下文切换的次数
nvcswch/s	每秒非自愿上下文切换的次数
Command	当前进程对应的命令

• pidstat -t -p pid 显示进程里面的线程的统计信息

字段	说明
TGID	主线程ID
TID	线程ID
%usr	进程在用户空间占用CPU的百分比
%system	进程在内核空间占用CPU的百分比
%guest	进程在虚拟机占用CPU的百分比
%CPU	进程占用CPU的百分比
CPU	处理进程的CPU编号
Command	当前进程对应的命令

• pidstat -wt -1 组合命令，看具体进程里面的线程上下文切换情况

7.性能监控命令vmstat详解

（1）vmstat命令简介

• 全称是Virtual Meomory Statistics（虚拟内存统计）的缩写，是对系统整体的情况进行统计，不细化到某个进程。实时查看系统CPU的队列情况、内存、块I/O、上下文切换情况、系统中断次数、cpu使用率等
• 格式：vmstat [选项] [时间间隔]/[次数]
• vmstat n 每隔n秒后输出一行信息，一般会加个-w进行加宽显示，比如vmstat -w 1
• vmstat -SM 指定单位显示，默认KB，M表示MB
• vmstat -t 带上时间戳信息
• 更多参数信息 vmstat -h 或 man vmstat

（2）上下文切换和中断的合理范围：没啥CPU负载的时候也有每秒1万次内，不过也取决cpu的性能。

字段	说明
r	r （running or runnable）就绪队列的长度，包括正在运行和等待CPU的进程数
b	b（Blocked）处于不可中断睡眠状态的进程数，一般是一些IO进程
swpd	虚拟内存使用情况，单位是KB
free	空闲内存空间，单位KB
buff	缓冲的内存空间，单位KB
cache	缓存的内存空间，单位KB
si	从磁盘中交换到内存的数据量，单位KB，数值越大代表内存和磁盘之间的转换越频繁，系统的性能越差
so	从内存中交换到磁盘中的数据量，单位KB，数值越大代表内存和磁盘之间越频繁，系统性能越差
bi	从块设备中读入的数据的总量，单位是块，值越大代表系统的I/O越繁忙
bo	写道块设别的数据的总量，单位是块，值越大代表系统的I/O越频繁
in	（interrupt）每秒中断的次数
cs	（context switch）每秒上下文切换次数，会浪费较多的CPU资源，比如我们调用系统函数，该值越小越好
us	在用户态进程所使用的CPU时间的百分比，CPU使用率
sy	在内核态进程所使用的CPU时间的百分比，CPU使用率
id	空闲 CPU 的百分比，在Linux 2.5.41之前，这部分包含IO等待时间
wa	等待 I/O 的 CPU 时间百分比
st	被虚拟机所盗用的 CPU 百分比

8.CPU上下文切换案例实战

（1）CPU切换的场景

• 系统的调用切换
• 进程上下文切换
• 线程上下文切换
• 中断上下文切换

（2）sysbench命令简介

• sysbench是一款开源的多线程性能测试工具，模拟线程上下文切换过多的场景
• 可以执行CPU/内存/线程/IO/数据库等方面性能测试
• 常用命令：sysbanch --threads=32 --time=300 threads run 32个线程持续运行5分钟，多线程压测。

(1) 模拟32个线程进行压测，持续600s sysbanch --threads=32 --time=300 threads run
(2) -d 参数表示高亮显示变化区域，watch -d uptime
(3) vmstat -w 1 查看系统CPU的队列情况、内存、块I/O、上下文切换情况、系统中断次数、CPU使用率等
(4) pidstat -w 查看正在运行的今后曾和任务上下文切换情况统计，显示个活动进程的上下文切换情况统计
	pidstat -t -p pid 显示进程中线程的统计信息
	pidstat -wt 1 组合命令，查看进程中具体线程的上下文切换情况

pidstat -w 进程上下文切换情况，查看是哪种上下文切换占比高，如果不加t只能看到进程层次的CPU调度

9.top、mpstat、pidstat、vmstat中wait含义

（1）top中的wa解释

wa,IO-wait: time waiting for I/O completion
等待io的时间，一种是网络，一种是磁盘

（2）mpstat中的iowait解释

%iowait Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.
等待io的时间，一种是网络，一种是磁盘

（3）vmstat 中的wa

wa: Time spent waiting for IO.  Prior to Linux 2.5.41, included in idle.
等待io的时间，一种是网络，一种是磁盘

（4）pidstat中的wait解释

%wait : Percentage of CPU spent by the task while waiting to run.
表示进程等待 CPU 的时间百分比, 进程已经就绪等待CPU的分配

• 总结：
  • 等待CPU的进程在CPU的就绪队列中，处于运行状态
  • 等待I/O的进程则处于不可中断状态，有磁盘IO、网络IO