linux+磁盘等待时间,通过iostat分析linux硬盘IO性能

今天我们的数据中心环境中有一台linux服务器，硬盘IO性能有些异常，所以想测试一下是哪方面的问题，在linux操作系统下就有相应的命令工具iostat，这个命令就可以直接测试出linux磁盘的io性能，是个很好用的工具。现在把他分享出来，方便大家以后分析相应问题：

# iostat101

avg-cpu: %user %nice %sys %idle

15.240.004.3180.45

Device: rrqm/s  wrqm/s  r/s  w/s   rsec/s  wsec/s  rkB/s  wkB/s  avgrq-sz  avgqu-sz await svctm  %util

sda0.0045.001.5229.008.23555.554.08300.2119.2220.1277.234.8413.19

以上输出结果，相关参数分析如下：

rrqm/s: 每秒进行 merge 的读操作数目.即 delta(rmerge)/s

wrqm/s: 每秒进行 merge 的写操作数目.即 delta(wmerge)/s

r/s: 每秒完成的读 I/O 设备次数.即 delta(rio)/s

w/s: 每秒完成的写 I/O 设备次数.即 delta(wio)/s

rsec/s: 每秒读扇区数.即 delta(rsect)/s

wsec/s: 每秒写扇区数.即 delta(wsect)/s

rkB/s: 每秒读K字节数.是 rsect/s 的一半,因为每扇区大小为512字节.

wkB/s: 每秒写K字节数.是 wsect/s 的一半.

avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区).delta(rsect+wsect)/delta(rio+wio)

avgqu-sz: 平均I/O队列长度.即 delta(aveq)/s/1000 (因为aveq的单位为毫秒).

await: 平均每次设备I/O操作的等待时间 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)

svctm: 平均每次设备I/O操作的服务时间 (毫秒).即 delta(use)/delta(rio+wio)

%util: 一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的.即 delta(use)/s/1000

结合上面的输入结果分析一下io状态：

1秒内设备 I/O 操作: 总IO(io)/s = r/s(读) +w/s(写) = 1.52+29.00 = 30.52 (次/秒) 。

平均每次设备 I/O 操作只需要 4.84ms 就可以完成,但每个 I/O 请求却需要等上 77.23ms,这是由于发出的 I/O 请求太多，每秒钟31个。这个值可以通过如下公式计算得出，假设他们都是同时发出io：

平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + … + 请求总数-1) / 请求总数=4.84ms * (1+2+....+30)/31 = 72.6ms 这个值和上面输出的等待值77.23差不多说明是同时发出的io请求。

每秒发出的 I/O 请求30.52,平均队列却不长 只有 2.01( 因为 iostat 中有 bug,avgqu-sz 值应为 2.01,而不是 20.12.),这表明这 30.52 个请求的到来并不均匀,大部分时间 I/O 是空闲的.

一秒中有 13.19% 的时间 I/O 队列中是有请求的,而86.81% 的时间里 I/O 系统无事可做,所有 29 个 I/O 请求都在很短时间之内处理掉了.

另一个指标如果 %util 使用率很大接近100%,说明产生的I/O请求太多,I/O系统负荷很大，可能过载,则说明磁盘可能存在瓶颈.网上还提供了一种vmstat 查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比,高过30%时IO压力高)。await 的参数也要多和 svctm 来参考.差的过高就一定有 IO 的问题.

avgqu-sz 也是个做 IO 调优时需要注意的地方,这个就是直接每次操作的数据的大小,如果次数多,但数据拿的小的话,其实 IO 也会很小.如果数据拿的大,才IO 的数据会高.也可以通过 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是讲,读定速度是这个来决定的.

还有一个参数指标如下：

svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了),svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多也会间接导致 svctm 的增加.await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式.如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间；如果 await 远大于 svctm,说明 I/O 队列太长,应用得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑更换更快的磁盘,调整内核 elevator 算法,优化应用,或者升级 CPU.队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水.

以上几种方式是通过iostat来分析linux系统下的硬盘IO读写性能。