Linux性能指令详解

iostat

命令详解

Linux系统中的iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。

iostat常用命令格式如下：

iostat [参数] [时间] [次数]

命令参数说明如下：

-c 显示CPU使用情况
-d 显示磁盘使用情况
-k 以K为单位显示
-m 以M为单位显示
-N 显示磁盘阵列(LVM) 信息
-n 显示NFS使用情况
-p 可以报告出每块磁盘的每个分区的使用情况
-t 显示终端和CPU的信息
-x 显示详细信息

使用实例

命令：iostat -x
说明：显示详细信息
输出：

Linux 3.10.0-957.el7.x86_64 (realspark1) 	07/16/2019 	_x86_64_	(48 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.02    0.00    0.01    0.00    0.00   99.97

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00    0.02    0.11     0.60    11.00   172.33     0.00    1.53    5.38    0.87   0.22   0.00
sdb               0.00     0.01    0.00    0.30     0.06    13.36    88.17     0.00    0.93    0.46    0.94   0.06   0.00
dm-0              0.00     0.00    0.02    0.12     0.53    10.97   169.41     0.00    1.52    5.82    0.86   0.21   0.00
dm-1              0.00     0.00    0.00    0.00     0.01     0.00    54.67     0.00    1.39    1.39    0.00   1.00   0.00
dm-2              0.00     0.00    0.00    0.31     0.06    13.36    86.08     0.00    0.94    0.33    0.95   0.06   0.00

输出内容详解：

%user：CPU处在用户模式下的时间百分比
%nice：CPU处在带NICE值的用户模式下的时间百分比
%system：CPU处在系统模式下的时间百分比
%iowait：CPU等待输入输出完成时间的百分比
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比
%idle：CPU空闲时间百分比	
Device：设备名称
rrqm/s：每秒合并到设备的读取请求数
wrqm/s：每秒合并到设备的写请求数
r/s：每秒向磁盘发起的读操作数
w/s：每秒向磁盘发起的写操作数
rkB/s：每秒读K字节数
wkB/s:每秒写K字节数
avgrq-sz：平均每次设备I/O操作的数据大小
avgqu-sz：平均I/O队列长度
await：平均每次设备I/O操作的等待时间 (毫秒)，一般地，系统I/O响应时间应该低于5ms，如果大于 10ms就比较大了
r_await：每个读操作平均所需的时间；不仅包括硬盘设备读操作的时间，还包括了在kernel队列中等待的时间
w_await：每个写操作平均所需的时间；不仅包括硬盘设备写操作的时间，还包括了在kernel队列中等待的时间
svctm：平均每次设备I/O操作的服务时间 (毫秒)（这个数据不可信！）
%util：一秒中有百分之多少的时间用于I/O操作，即被IO消耗的CPU百分比，一般地，如果该参数是100%表示设备已经接近满负荷运行了

命令：iostat -d 2 3
输出：

Linux 3.10.0-957.el7.x86_64 (realspark1) 	07/16/2019 	_x86_64_	(48 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.13         0.60        11.00     280599    5137326
sdb               0.31         0.06        13.37      29840    6240985
dm-0              0.14         0.53        10.97     247715    5121989
dm-1              0.00         0.01         0.00       2460          0
dm-2              0.31         0.06        13.37      26236    6240985

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.00         0.00         0.00          0          0
sdb               1.00         0.00         9.00          0         18
dm-0              0.00         0.00         0.00          0          0
dm-1              0.00         0.00         0.00          0          0
dm-2              1.00         0.00         9.00          0         18

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
dm-0              0.00         0.00         0.00          0          0
dm-1              0.00         0.00         0.00          0          0
dm-2              0.00         0.00         0.00          0          0

输出内容详解：

tps：每秒I/O数（即IOPS。磁盘连续读和连续写之和）
kB_read/s：每秒从磁盘读取数据大小，单位KB/s
kB_wrtn/s：每秒写入磁盘的数据的大小，单位KB/s
kB_read：从磁盘读出的数据总数，单位KB
kB_wrtn：写入磁盘的的数据总数，单位KB

性能监控指标

上面说了这么多，也看了那么多的系统输出，那我们在日常运维中到底需要关注哪些字段呢？下面就来说说这篇文章的重点了，我们到底该关注哪些输出内容就可以确定这台服务器是否存在IO性能瓶颈。

• %iowait：如果该值较高，表示磁盘存在I/O瓶颈
• await：一般地，系统I/O响应时间应该低于5ms，如果大于10ms就比较大了
• avgqu-sz：如果I/O请求压力持续超出磁盘处理能力，该值将增加。如果单块磁盘的队列长度持续超过2，一般认为该磁盘存在I/O性能问题。需要注意的是，如果该磁盘为磁盘阵列虚拟的逻辑驱动器，需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目，以获得平均单块硬盘的I/O等待队列长度
• %util：一般地，如果该参数是100%表示设备已经接近满负荷运行了

最后，除了关注指标外，我们更需要结合部署的业务进行分析。对于磁盘随机读写频繁的业务，比如图片存取、数据库、邮件服务器等，此类业务吗，tps才是关键点。对于顺序读写频繁的业务，需要传输大块数据的，如视频点播、文件同步，关注的是磁盘的吞吐量。

VMSTAT

命令详解

在系统中运行的每个进程都需要使用到内存，但不是每个进程都需要每时每刻使用系统分配的内存空间。当系统运行所需内存超过实际的物理内存，内核会释放某些进程所占用但未使用的部分或所有物理内存，将这部分资料存储在磁盘上直到进程下一次调用，并将释放出的内存提供给有需要的进程使用。

在Linux内存管理中，主要是通过“调页Paging”和“交换Swapping”来完成上述的内存调度。调页算法是将内存中最近不常使用的页面换到磁盘上，把活动页面保留在内存中供进程使用。交换技术是将整个进程，而不是部分页面，全部交换到磁盘上。

分页(Page)写入磁盘的过程被称作Page-Out，分页(Page)从磁盘重新回到内存的过程被称作Page-In。当内核需要一个分页时，但发现此分页不在物理内存中(因为已经被Page-Out了)，此时就发生了分页错误（Page Fault）。

当系统内核发现可运行内存变少时，就会通过Page-Out来释放一部分物理内存。经管Page-Out不是经常发生，但是如果Page-out频繁不断的发生，直到当内核管理分页的时间超过运行程式的时间时，系统效能会急剧下降。这时的系统已经运行非常慢或进入暂停状态，这种状态亦被称作thrashing(颠簸)。

VMSTAT常用命令格式如下：

vmstat [-a] [-n] [-S unit] [delay [ count]]
vmstat [-s] [-n] [-S unit]
vmstat [-m] [-n] [delay [ count]]
vmstat [-d] [-n] [delay [ count]]
vmstat [-p disk partition] [-n] [delay [ count]]
vmstat [-f]
vmstat [-V]

命令参数说明如下：

-a：显示活跃和非活跃内存	
-f：显示从系统启动至今的fork数量 。
-m：显示slabinfo
-n：只在开始时显示一次各字段名称。
-s：显示内存相关统计信息及多种系统活动数量。
delay：刷新时间间隔。如果不指定，只显示一条结果。
count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。
-d：显示磁盘相关统计信息。
-p：显示指定磁盘分区统计信息
-S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）
-V：显示vmstat版本信息。

命令：vmstat 3
输出：

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 100569776   2108 8762156    0    0     0     1    0    2  0  0 100  0  0
 1  0      0 100569776   2108 8762156    0    0     0    56 2404 5026  0  0 100  0  0
 0  0      0 100569776   2108 8762156    0    0     0    27 2363 4951  0  0 100  0  0
 0  0      0 100569832   2108 8762104    0    0     0   112 2847 5821  0  0 100  0  0

输出内容详解：

Procs（进程）：	
r: 运行队列中进程数量，这个值也可以判断是否需要增加CPU。（长期大于1）
b: 等待IO的进程数量	
Memory（内存）：
swpd: 使用虚拟内存大小
注意：如果swpd的值不为0，但是SI，SO的值长期为0，这种情况不会影响系统性能。
free: 空闲物理内存大小
buff: 用作缓冲的内存大小
cache: 用作缓存的内存大小	
注意：如果cache的值大的时候，说明cache处的文件数多，如果频繁访问到的文件都能被cache处，那么磁盘的读IO bi会非常小。
Swap：
si: 每秒从交换区写到内存的大小，由磁盘调入内存
so: 每秒写入交换区的内存大小，由内存调入磁盘	
注意：内存够用的时候，这2个值都是0，如果这2个值长期大于0时，系统性能会受到影响，磁盘IO和CPU资源都会被消耗。有些朋友看到空闲内存（free）很少的或接近于0时，就认为内存不够用了，不能光看这一点，还要结合si和so，如果free很少，但是si和so也很少（大多时候是0），那么不用担心，系统性能这时不会受到影响的。
IO：（现在的Linux版本块的大小为1kb）
bi: 每秒读取的块数
bo: 每秒写入的块数
注意：随机磁盘读写的时候，这2个值越大（如超出1024k)，能看到CPU在IO等待的值也会越大。
系统：
in: 每秒中断数，包括时钟中断。
cs: 每秒上下文切换数。
注意：上面2个值越大，会看到由内核消耗的CPU时间会越大。	
CPU（以百分比表示）：
us: 用户进程执行时间百分比(user time)
注意： us的值比较高时，说明用户进程消耗的CPU时间多，但是如果长期超50%的使用，那么我们就该考虑优化程序算法或者进行加速。
sy: 内核系统进程执行时间百分比(system time)
注意：sy的值高时，说明系统内核消耗的CPU资源多，这并不是良性表现，我们应该检查原因。
wa: IO等待时间百分比
注意：wa的值高时，说明IO等待比较严重，这可能由于磁盘大量作随机访问造成，也有可能磁盘出现瓶颈（块操作）。
id: 空闲时间百分比

命令：iostat -d 2 3
输出：

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free  inact active   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 100552528 3545988 25564984    0    0     0     1    0    2  0  0 100  0  0
 0  0      0 100552104 3545988 25565292    0    0     0    32 2930 5719  0  0 100  0  0
 1  0      0 100552336 3545992 25565248    0    0     0    28 2318 4898  0  0 100  0  0

输出内容详解：

使用-a选项显示活跃和非活跃内存时，所显示的内容除增加inact和active外，其他显示内容与例子1相同。
字段说明：
Memory（内存）：
inact: 非活跃内存大小（当使用-a选项时显示）
active: 活跃的内存大小（当使用-a选项时显示）
总结：
目前说来，对于服务器监控有用处的度量主要有：
r（运行队列）
pi（页导入）
us（用户CPU）
sy（系统CPU）
id（空闲）

free

free常用命令格式如下：

free [-参数]

命令参数说明如下：

-b：以Byte为单位显示内存使用情况；
-k：以KB为单位显示内存使用情况；
-m：以MB为单位显示内存使用情况；
-o：不显示缓冲区调节列；
-s<间隔秒数>：持续观察内存使用状况；
-t：显示内存总和列；
-V：显示版本信息。

命令：vmstat 3
输出：

              total        used        free      shared  buff/cache   available
Mem:         128188       21485       98144          10        8558      105895
Swap:         32767           0       32767

输出内容详解：

1，2表示1，2行的内容

total1:表示物理，内存总量

used1:总计分配给缓存(包含Buffer和cache)使用的数量，但其中可能部分缓存并未实际使用

free1:未被分配的内存

shared1:共享内存，一般系统不会用到，这里也不讨论

buffers1:系统分配但未被使用的buffers数量

cached1:系统分配但未被使用的cache数量

used2:实际使用的buffers和cache总量，也是实际使用的内存总量

free2:未被使用的Buffers和cache和未被分配的内存之和，这就是系统当前实际可用内存。

如下公式：

total1=used1(buffers1+cached1+used2)+free1   7869=7651(191+5081+2378)+218

total1=used2+free2(buffers1+cached1+free1)     7869=2378+5490(191+5081+218)

buffer和cache也是内存的一部分，如果需要，可以释放这2部分的内存

pagecache和buffercache的区别：

pagecache实际上是针对文件系统的，是文件的缓存，在文件上的数据会缓存到pagecahce,文件的逻辑层需要映射到实际的物理磁盘，这种映射关系由文件系统来完成，当pagecache中的数据需要刷新时，pagecache中的数据交给buffercache。但这种处理在2.6版本内核之后就变得简单了，没有真正意义的cache操作。

buffercache是针对磁盘块的缓存，也就是在没有文件系统的情况下，直接对磁盘操作的数据会缓存到buffercache中，如：文件系统的元数据都会缓存到buffercache中。简单来说，

pagecache用来缓存文件数据，buffercache用来缓存磁盘数据。在有文件系统的情况下，对文件操作，数据会缓存到pagecache。若直接采用dd工具对磁盘进行读写，那么数据会

缓存到buffercache。