iostat使用与总结

iostat使用与总结

 

1、iostat命令介绍

对于I/O-bond类型的进程，我们经常用iostat工具查看进程IO请求下发的数量、系统处理IO请求的耗时，进而分析进程与操作系统的交互过程中IO方面是否存在瓶颈。

 

2、iostat命令使用

下面通过iostat命令使用实例，说明使用iostat查看IO请求下发情况、系统IO处理能力的方法，以及命令执行结果中各字段的含义。

1).不加选项执行iostat

我们先来看直接执行iostat的输出结果：

linux # iostat

Linux 2.6.16.60-0.21-smp (linux)     

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           0.07    0.00    0.05    0.06    0.00   99.81

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn

sda               0.58         9.95        37.47    6737006   25377400

sdb               0.00         0.00         0.00        824          0

单独执行iostat，显示的结果为从系统开机到当前执行时刻的统计信息。以上输出中，除最上面指示系统版本、主机名和日期的一行外，另有两部分：

avg-cpu: 总体cpu使用情况统计信息，对于多核cpu，这里为所有cpu的平均值

avg-cpu段:

%user: 在用户级别运行所使用的CPU的百分比.

%nice:优先进程消耗的CPU时间，占所有CPU的百分比.

%system: 在系统级别(kernel)运行所使用CPU的百分比.

%iowait: CPU等待硬件I/O时,所占用CPU百分比.

%steal: 管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。

%idle: CPU空闲时间的百分比.

 

Device: 各磁盘设备的IO统计信息

对于cpu统计信息一行，我们主要看iowait的值，它指示cpu用于等待io请求完成的时间Device 。中各列含义如下：

Device: 以sdX形式显示的设备名称

tps: 每秒进程下发的IO读、写请求数量

Blk_read/s: 每秒读扇区数量(一扇区为512bytes)

Blk_wrtn/s: 每秒写扇区数量

Blk_read: 取样时间间隔内读扇区总数量

Blk_wrtn: 取样时间间隔内写扇区总数量

我们可以使用-c选项单独显示avg-cpu部分的结果，使用-d选项单独显示Device部分的信息。

2).指定采样时间间隔与采样次数

与sar命令一样，我们可以以"iostat interval [count] ”形式指定iostat命令的采样间隔和采样次数：

 

linux # iostat -d 1 2

Linux 2.6.16.60-0.21-smp (linux)     06/13/12

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn

sda               0.55         8.93        36.27    6737086   27367728sdb               0.00         0.00         0.00        928          0

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn

sda               2.00         0.00        72.00          0         72

sdb               0.00         0.00         0.00          0          0

以上命令输出Device的信息，采样时间为1秒，采样2次，若不指定采样次数，则iostat会一直输出采样信息，直到按”ctrl+c”退出命令。注意，第1次采样信息与单独执行iostat的效果一样，为从系统开机到当前执行时刻的统计信息。

3).以kB为单位显示读写信息(-k选项)

我们可以使用-k选项，指定iostat的部分输出结果以kB为单位，而不是以扇区数为单位：

 

linux # iostat -d -k

Linux 2.6.16.60-0.21-smp (linux)     06/13/12

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn

sda               0.55         4.46        18.12    3368543   13686096

sdb               0.00         0.00         0.00        464          0

以上输出中，kB_read/s、kB_wrtn/s、kB_read和kB_wrtn的值均以kB为单位，相比以扇区数为单位，这里的值为原值的一半(1kB=512bytes*2)

4).更详细的io统计信息(-x选项)

为显示更详细的io设备统计信息，我们可以使用-x选项，在分析io瓶颈时，一般都会开启-x选项：

 

linux # iostat -x -k -d 1

Linux 2.6.16.60-0.21-smp (linux)     06/13/12

……

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00  9915.00    1.00   90.00     4.00 34360.00   755.25    11.79  120.57   6.33  57.60

以上各列的含义如下：

rrqm/s: 每秒对该设备的读请求被合并次数，文件系统会对读取同块(block)的请求进行合并

wrqm/s: 每秒对该设备的写请求被合并次数

r/s: 每秒完成的读次数

w/s: 每秒完成的写次数

rkB/s: 每秒读数据量(kB为单位)

wkB/s: 每秒写数据量(kB为单位)

avgrq-sz:平均每次IO操作的数据量(扇区数为单位)

avgqu-sz: 平均等待处理的IO请求队列长度

await: 平均每次IO请求等待时间(包括等待时间和处理时间，毫秒为单位)

svctm: 平均每次IO请求的处理时间(毫秒为单位)

%util: 采用周期内用于IO操作的时间比率，即IO队列非空的时间比率

 

如果%util 接近100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈；idle小于70% IO压力就较大了,一般读取速度有较多的wait。

对于以上示例输出，我们可以获取到以下信息：

每秒向磁盘上写30M左右数据(wkB/s值)

每秒有91次IO操作(r/s+w/s)，其中以写操作为主体

平均每次IO请求等待处理的时间为120.57毫秒，处理耗时为6.33毫秒

等待处理的IO请求队列中，平均有11.79个请求驻留

以上各值之间也存在联系，我们可以由一些值计算出其他数值，例如：

util = (r/s+w/s) * (svctm/1000)

对于上面的例子有：util = (1+90)*(6.33/1000) = 0.57603

附注：

一般:

svctm < await (因为同时等待的请求的等待时间被重复计算了)，

svctm的大小一般和磁盘性能有关:CPU/内存的负荷也会对其有影响，请求过多也会间接导致 svctm 的增加。

await: await的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。

如果svctm 比较接近await，说明I/O 几乎没有等待时间；

如果await 远大于svctm，说明I/O队列太长，应用得到的响应时间变慢

如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核elevator算法，优化应用，或者升级 CPU。

队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标，但由于 avgqu-sz 是按照单位时间的平均值，所以不能反映瞬间的 I/O洪水。

 

一个不错的例子(I/O 系统vs超市排队)

举一个例子，我们在超市排队 checkout 时，怎么决定该去哪个交款台呢? 首当是看排的队人数，5个人总比20人要快吧?除了数人头，我们也常常看看前面人购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的等了。另外，时机也很重要，可能 5分钟前还人满为患的收款台，现在已是人去楼空，这时候交款可是很爽啊，当然，前提是那过去的 5 分钟里所做的事情比排队要有意义。I/O 系统也和超市排队有很多类似之处:

r/s+w/s 类似于交款人的总数

平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数

平均服务时间(svctm)类似于收银员的收款速度

平均等待时间(await)类似于平均每人的等待时间

平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少

I/O 操作率 (%util)类似于收款台前有人排队的时间比例。

我们可以根据这些数据分析出 I/O 请求的模式，以及 I/O 的速度和响应时间。

下面是别人写的这个参数输出的分析

# iostat -x 1

avg-cpu:   %user %nice %sys %idle

16.24 0.00 4.31 79.44

Device: rrqm/s wrqm/s r/s w/s   rsec/s   wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await   svctm   %util

/dev/cciss/c0d0

0.00   44.90   1.02 27.55 8.16   579.59     4.08 289.80 20.57 22.35 78.21 5.00   14.29

/dev/cciss/c0d0p1

0.00   44.90   1.02 27.55 8.16   579.59     4.08 289.80 20.57 22.35 78.21 5.00   14.29

/dev/cciss/c0d0p2

0.00 0.00   0.00   0.00 0.00 0.00     0.00     0.00     0.00     0.00 0.00 0.00 0.00

上面的 iostat 输出表明秒有 28.57 次设备 I/O 操作: 总IO(io)/s = r/s(读) +w/s(写) = 1.02+27.55 = 28.57 (次/秒) 其中写操作占了主体 (w:r = 27:1)。

平均每次设备 I/O 操作只需要 5ms 就可以完成，但每个I/O 请求却需要等上 78ms，为什么? 因为发出的 I/O 请求太多 (每秒钟约29 个)，假设这些请求是同时发出的，那么平均等待时间可以这样计算:

平均等待时间 = 单个I/O 服务时间 * ( 1 + 2 + ... + 请求总数-1) / 请求总数

应用到上面的例子: 平均等待时间 = 5ms * (1+2+...+28)/29 = 70ms，和 iostat 给出的78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。

每秒发出的 I/O 请求很多 (约29 个)，平均队列却不长 (只有2 个左右)，这表明这 29 个请求的到来并不均匀，大部分时间 I/O是空闲的。

一秒中有 14.29% 的时间 I/O 队列中是有请求的，也就是说，85.71% 的时间里 I/O 系统无事可做，所有 29 个I/O 请求都在142毫秒之内处理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s=78.21 * delta(io)/s = 78.21*28.57 =2232.8，表明每秒内的I/O请求总共需要等待2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23，而iostat 给出的平均队列长度(avgqu-sz) 却为22.35，为什么?因为iostat 中有bug，avgqu-sz值应为2.23，而不是22.35。