Linux系统性能分析——iostat

I/O子系统的监视器——iostat

一、iostat是什么？

iostat(I/O statistics)，用来动态监视系统的I/O操作活动。

二、iostat能做什么？

通过iostat方便查看CPU、网卡、tty设备、磁盘、CD-ROM 等等设备的活动情况, 负载信息。

三、iostat怎么使用？

用法: iostat [ 选项 ] [ <时间间隔> [ <次数> ] ]
选项:
[ -c ] [ -d ] [ -N ] [ -n ] [ -h ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -z ]
[ <设备> [...] | ALL ] [ -p [ <设备> [,...] | ALL ] ]

选项
-c: 显示CPU使用情况
-d: 显示磁盘使用情况
-k: 以 KB 为单位显示
-m: 以 M 为单位显示
-N: 显示磁盘阵列(LVM) 信息
-n: 显示NFS 使用情况
-p: [磁盘] 显示磁盘和分区的情况
-t: 显示终端和CPU的信息
-x: 显示详细信息
-V: 显示版本信息

$ iostat -c
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.03    0.00    0.04    0.01    0.00   99.91

[tangf@localhost ~]$ iostat
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.03    0.00    0.04    0.01    0.00   99.91

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
scd0              0.00         0.01         0.00         88          0
sda               0.38        27.09         1.58     448172      26176

• %user :用户模式下CPU时间占用比例；
• %nice :通过nice改变了进程调度优先级的进程，在用户模式下CPU时间占用比例
• %system :系统模式下CPU时间占用比例；
• %iowait :CPU等待磁盘I/O导致空闲状态CPU时间占用比例；
• %steal :当hypervisor服务另一个虚拟处理器的时候，虚拟CPU等待实际CPU的时间的百分比（如果此值过大，说明主机分配的虚拟机数量过多）
• %idle :CPU空闲时间占用比例；

使用-k、-m参数，指定显示单位，默认B（字节）为单位

$ iostat -d
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
scd0              0.00         0.00         0.00         88          0
sda               0.31        19.82         4.80     449708     108904

$ iostat -dk
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
scd0              0.00         0.00         0.00         44          0
sda               0.31         9.90         2.40     224854      54452

$ iostat -dm
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
scd0              0.00         0.00         0.00          0          0
sda               0.31         0.01         0.00        219         53

• tps :该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。
• kB_read/s :每秒从设备（drive expressed）读取的数据量；
• kB_wrtn/s :每秒向设备（drive expressed）写入的数据量；
• kB_read :读取的总数据量
• kB_wrtn :写入的总数据量；

注：如果%iowait的值过高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。

$ iostat -N
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.04    0.00    0.05    0.01    0.00   99.90

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
scd0              0.00         0.00         0.00         88          0
sda               0.31        19.59         4.75     449708     109128

$ iostat -n
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

Filesystem:              rBlk_nor/s   wBlk_nor/s   rBlk_dir/s   wBlk_dir/s   rBlk_svr/s   wBlk_svr/s     ops/s    rops/s    wops/s

$ iostat -p
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.04    0.00    0.05    0.01    0.00   99.90

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
scd0              0.00         0.00         0.00         88          0
sda               0.31        19.69         4.78     449708     109128
sda1              0.03         0.87         0.00      19802         24
sda2              0.26        18.63         4.78     425602     109104
sda3              0.02         0.14         0.00       3088          0

$ iostat -t
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

2020年02月03日 12时08分35秒
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.04    0.00    0.05    0.01    0.00   99.90

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
scd0              0.00         0.00         0.00         88          0
sda               0.31        19.66         4.77     449708     109128

$ iostat -V
sysstat 版本 9.0.4
(C) Sebastien Godard (sysstat <at> orange.fr)

-x选项，查看详细信息

$ iostat -dx 1 2
Linux 2.6.32-358.el6.x86_64 (localhost.localdomain) 	2020年02月03日 	_x86_64_	(4 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
scd0              0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    0.64   0.64   0.00
sda               0.34     0.09    0.27    0.10    25.84     1.55    74.42     0.00    6.09   0.90   0.03

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

• rrqm/s： 每秒进行 merge 的读操作数目.即 delta(rmerge)/s
• wrqm/s： 每秒进行 merge 的写操作数目.即 delta(wmerge)/s
• r/s： 每秒完成的读 I/O 设备次数.即 delta(rio)/s
• w/s： 每秒完成的写 I/O 设备次数.即 delta(wio)/s
• rsec/s： 每秒读扇区数.即 delta(rsect)/s
• wsec/s： 每秒写扇区数.即 delta(wsect)/s
• rkB/s： 每秒读K字节数.是 rsect/s 的一半,因为每扇区大小为512字节.(需要计算)
• wkB/s： 每秒写K字节数.是 wsect/s 的一半.(需要计算)
• avgrq-sz：平均每次设备I/O操作的数据大小 (扇区).delta(rsect+wsect)/delta(rio+wio)
• avgqu-sz：平均I/O队列长度.即 delta(aveq)/s/1000 (因为aveq的单位为毫秒).
• await： 平均每次设备I/O操作的等待时间 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)
• svctm： 平均每次设备I/O操作的服务时间 (毫秒).即 delta(use)/delta(rio+wio)
• %util： 一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的，即 delta(use)/s/1000 (因为use的单位为毫秒)

• 如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。 idle小于70% IO压力就较大了，一般读取速度有较多的wait。 同时可以结合vmstat 查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比，高过30%时IO压力高)。另外 await值也要多和 svctm值结合起来参考，差的过高就一定有 IO 的问题。
• avgrq-sz也是个做 IO 调优时需要注意的地方，这个就是直接每次操作的数据的大小，如果次数多，但数据拿的小的话，其实 IO 也会很小。如果数据拿的大，IO 的数据才会高。也可以通过 avgrq-sz × ( r/s or w/s ) = rsec/s or wsec/s。也就是讲，读定速度是这个来决定的。
• svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了)，svctm 的大小一般和磁盘性能有关，CPU/内存的负荷也会对其有影响，请求过多也会间接导致 svctm 的增加。await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await，说明 I/O 几乎没有等待时间；如果 await 远大于 svctm，说明 I/O 队列太长，应用得到的响应时间变慢，如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核 elevator 算法，优化应用，或者升级 CPU。
  队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标，但由于 avgqu-sz 是按照单位时间的平均值，所以不能反映瞬间的 I/O 洪水。

形象的比喻：

• r/s+w/s 类似于交款人的总数
• 平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数
• 平均服务时间(svctm)类似于收银员的收款速度
• 平均等待时间(await)类似于平均每人的等待时间
• 平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少
  I/O 操作率 (%util)类似于收款台前有人排队的时间比例
  设备IO操作:总IO(io)/s = r/s(读) +w/s(写)
• 平均等待时间=单个I/O服务器时间*(1+2+…+请求总数-1)/请求总数
• 每秒发出的I/0请求很多,但是平均队列就4,表示这些请求比较均匀,大部分处理还是比较及时。