iostat命令详解
1 iostat简介
iostat命令是Linux系统上查看I/O性能最基本的工具,其全称为 I/O statistics。iostat能统计磁盘活动情况,也能统计CPU使用情况。
iostat属于sysstat软件包,可以通过命令进行安装:
yum install sysstat
iostat数据的来源是Linux操作系统的/proc/diskstats:
# cat /proc/diskstats
8 0 sda 239219 1806 37281259 2513275 904326 88832 50268824 26816609 0 4753060 29329105
8 1 sda1 338 0 53241 6959 154 0 5496 3724 0 6337 10683
8 2 sda2 238695 1797 37226458 2504489 620322 88832 50263328 25266599 0 3297988 27770221
8 16 sdb 1009117 481 1011773 127319 0 0 0 0 0 126604 126604
8 17 sdb1 1008792 480 1010929 127078 0 0 0 0 0 126363 126363
253 0 dm-0 1005 0 8040 15137 30146 0 241168 2490230 0 30911 2505369
253 1 dm-1 192791 0 35500457 2376087 359162 0 44095600 22949466 0 2312433 25325563
253 2 dm-2 47132 0 1717329 183565 496207 0 5926560 7348763 0 2517753 7532688
注意,procfs中的前三个字段:主设备号、从设备号、设备名。
从第四个字段开始,介绍的是该设备的相关统计:
- rd_ios:读操作的次数
- rd_merges:合并读操作的次数。如果两个读操作读取相邻的数据块,那么可以被合并成1个。
- rd_sectors:读取的扇区数量
- rd_ticks:读操作消耗的时间(以毫秒为单位)。每个读操作从__make_request()开始计时,到end_that_request_last()为止,包括了在队列中等待的时间。
- wr_ios:写操作的次数
- wr_merges:合并写操作的次数
- wr_sectors:写入的扇区数量
- wr_ticks:写操作消耗的时间(以毫秒为单位)
- in_flight:当前未完成的I/O数量。在I/O请求进入队列时该值加1,在I/O结束时该值减1。 注意:是I/O请求进入队列时,而不是提交给硬盘设备时。
- io_ticks:该设备用于处理I/O的自然时间(wall-clock time)
- time_in_queue:对字段#10(io_ticks)的加权值
iostat有以下缺陷:
- iostat的输出结果大多数是一段时间内的平均值,因此难以反映峰值情况
- iostat仅能对系统整体情况进行分析汇报,却不能针对某个进程进行深入分析。
- iostat未单独统计IO处理信息,而是将IO处理时间和IO等待时间合并统计,因此包括await在内的指标并不能非常准确地衡量磁盘性能表现。
2 命令与参数项
2.1 命令格式
iostat[参数][时间][次数]
例如,iostat -d -x -k 1 3:每1s采集一次数据,显示3次,以kb为单位显示磁盘使用情况详细信息。
2.2 参数详解
- -x 显示详细信息
- -C 显示CPU使用情况,与-d选项互斥
- -d 显示磁盘使用情况,与-C选项互斥
- -k 以 KB 为单位显示
- -m 以 M 为单位显示
- -N 显示磁盘阵列(LVM) 信息
- -n 显示NFS 使用情况
- -p[磁盘] 显示磁盘和分区的情况
- -t 显示终端和CPU的信息
- -V 显示版本信息
3 输出项目说明
使用iostat后,结果面板如下:
avg-cpu: %user %nice %system %iowait %steal %idle
1.44 0.00 0.39 0.00 0.00 98.17
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.37 0.47 30.30 3561197 229837730
dm-0 0.44 0.33 29.97 2518272 227313194
dm-1 0.12 0.13 0.33 1013276 2520308
dm-2 0.00 0.00 0.00 502 2068
3.1 cpu属性
iostat结果面板 avg-cpu 描述的是系统cpu使用情况:
- %user:CPU处在用户模式下的时间百分比。
- %nice:CPU处在带NICE值的用户模式下的时间百分比。
- %system:CPU处在系统模式下的时间百分比。
- %iowait:CPU等待输入输出完成时间的百分比。
- %steal:管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比。
- %idle:CPU空闲时间百分比。
3.2 磁盘属性
iostat结果面板 Device 项描述的是系统磁盘使用情况:
- tps:该设备每秒的传输次数(Indicate the number of transfers per second that were issued to the device.)。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。
- kB_read/s:每秒从设备(drive expressed)读取的数据量;
- kB_wrtn/s:每秒向设备(drive expressed)写入的数据量;
- kB_read:读取的总数据量;
- kB_wrtn:写入的总数量数据量;
4 使用实例
4.1 查看磁盘详情
命令:
iostat -d -x -k 1 1
输出结果:
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.03 0.16 0.01 0.36 0.47 30.30 165.95 0.02 55.32 9.22 56.77 13.56 0.50
dm-0 0.00 0.00 0.01 0.44 0.33 29.97 136.71 0.02 54.07 12.12 54.68 11.28 0.50
dm-1 0.00 0.00 0.03 0.08 0.13 0.33 8.00 0.12 1015.22 5.91 1420.78 0.41 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 48.96 0.00 1.27 0.37 9.80 1.27 0.00
结果说明:
- rrqm/s:每秒合并读操作的次数,如果两个读操作读取相邻的数据块时,可以被合并成一个,以提高效率。合并的操作通常是I/O scheduler(也叫elevator)负责的。
- wrqm/s:每秒合并写操作的次数
- r/s:每秒读操作的次数
- w/s:每秒写操作的次数
- rKB/s:每秒读取的字节数(KB)
- wKB/s:每秒写入的字节数(KB)
- rkB/s:每秒读K字节数,是 rsect/s 的一半,因为每扇区大小为512字节(需要计算)
- wkB/s:每秒写K字节数,是 wsect/s 的一半(需要计算)
- avgrq-sz:每个IO的平均扇区数,即所有请求的平均大小,以扇区(512字节)为单位
- avgqu-sz:平均未完成的IO请求数量,即平均意义上的请求队列长度
- await:平均每个IO所需要的时间,包括在队列等待的时间,也包括磁盘控制器处理本次请求的有效时间
- r_await:每个读操作平均所需要的时间,不仅包括硬盘设备读操作的时间,也包括在内核队列中的时间。
- w_wait:每个写操平均所需要的时间,不仅包括硬盘设备写操作的时间,也包括在队列中等待的时间。
- svctm:表面看是每个IO请求的服务时间,不包括等待时间,但是实际上,这个指标已经废弃。实际上,iostat工具没有任何一输出项表示的是硬盘设备平均每次IO的时间。
- %util:表示该设备有I/O(即非空闲)的时间比率,不考虑I/O有多少,只考虑有没有。
4.2 其他
- iostat 1 3:每隔 1秒刷新显示,且显示3次
- iostat -d sda1:显示指定磁盘信息
- iostat -t:显示tty和Cpu信息
- iostat -m:以M为单位显示所有信息
- iostat -d -k 1 1:查看TPS和吞吐量信息
- iostat -d -x -k 1 1:查看设备使用率(%util)、响应时间(await)
- iostat -c 1 3:查看cpu状态,每隔 1秒刷新显示,且显示3次
5 深入解析
5.1 avgqu-sz
IO请求的队列长度,反映了系统磁盘任务处理的繁忙程度,该值越大,表示排队等待处理的IO请求越多。
平均队列长度的计算:
我们考虑如下的场景,如果同一时间来了250个IO请求,后续再也没有新的请求到来。这种情况下,每个请求处理时间都是4ms,那么所有IO的平均等待时间为:
平均等待时间 = 单个请求处理时间*(1+2+3+4...+(请求总数-1))/请求总数
对于我们的例子来说,平均等待时间是 500ms,那么所有IO花费的总时间为250*500 = 125000ms,这个时间除以1000ms,得到 125,即平均队列长度。
这个值很明显是符合直观的。排在队列最前端的IO认为,队列的长度是0,第2个IO认为队列的长度是1,第3个IO认为队列的长度是2,最后一个认为队列的长度是249。
5.2 await
await是单个I/O所消耗的时间,包括硬盘设备处理I/O的时间和I/O请求在kernel队列中等待的时间:
await = IO 平均处理时间 + IO在队列的平均等待时间
正常情况下队列等待时间可以忽略不计:
await = ((所有读IO的时间)+(所有写IO的时间))/((读请求的个数) + (写请求的个数))
这个值,多大算正常呢?
对于SSD,从0.0x毫秒到1.x毫秒不等,具体看产品手册。
对于机械硬盘,大致来说一万转的机械硬盘是8.38毫秒,包括寻道时间、旋转延迟、传输时间。
关于await的一个误区是,人们常常武断地认为,await值比较高,就认为磁盘性能差,其实,await这个值不能反映硬盘设备的性能。
我们考虑两种IO的模型:
- 250个IO请求同时进入等待队列
- 250个IO请求依次发起,待上一个IO完成后,发起下一个IO
第一种情况await高达500ms,第二个情况await只有4ms,但是都是同一块盘。
在实践中,要根据应用场景来判断await是否正常,如果I/O模式很随机、I/O负载比较高,会导致磁头乱跑,寻道时间长,那么相应地await要估算得大一些;如果I/O模式是顺序读写,只有单一进程产生I/O负载,那么寻道时间和旋转延迟都可以忽略不计,主要考虑传输时间,相应地await就应该很小,甚至不到1毫秒。
对磁盘阵列来说,因为有硬件缓存,写操作不等落盘就算完成,所以写操作的service time大大加快了,如果磁盘阵列的写操作不在一两个毫秒以内就算慢的了;读操作则未必,不在缓存中的数据仍然需要读取物理硬盘,单个小数据块的读取速度跟单盘差不多。
5.3 %util
%util表示该设备有I/O(即非空闲)的时间比率,不考虑I/O有多少,只考虑有没有。
很多初学者看到%util 等于100%就说硬盘能力到顶了,这种说法是错误的。
由于现代硬盘设备都有并行处理多个I/O请求的能力,所以%util即使达到100%也不意味着设备饱和了,举个简化的例子:
- 某硬盘处理单个I/O需要0.1秒,有能力同时处理10个I/O请求。
- 当10个I/O请求依次顺序提交的时候,需要1秒才能全部完成,在1秒的采样周期里%util达到100%。
- 而如果10个I/O请求一次性提交的话,0.1秒就全部完成,在1秒的采样周期里%util只有10%。
可见,即使%util高达100%,硬盘也仍然有可能还有余力处理更多的I/O请求,即没有达到饱和状态。那么iostat有没有哪个指标可以衡量硬盘设备的饱和程度呢?很遗憾,没有。