linux-磁盘相关命令

iostat

       iostat主要用于监控系统设备的IO负载情况、IO统计工具,iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。

[root@localhost app]# yum list|grep iostat
pcp-import-iostat2pcp.x86_64                3.11.8-7.el7               base   
[root@localhost app]# yum -y install pcp-import-iostat2pcp
[root@localhost app]# iostat
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	10/24/2017 	_x86_64_	(1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.44    0.00    0.30    0.04    0.00   99.22

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.43         9.55        14.19     737417    1095615
scd0              0.00         0.00         0.00         44          0

[root@localhost app]#

各个输出项目的含义如下:

avg-cpu段:总体cpu使用情况统计信息，对于多核cpu，这里为所有cpu的平均值

    %user: 在用户级别运行所使用的CPU的百分比.

    %nice: nice操作所使用的CPU的百分比.

    %sys: 在系统级别(kernel)运行所使用CPU的百分比.

    %iowait: CPU等待硬件I/O时,所占用CPU百分比.它指示cpu用于等待io请求完成的时间，主要看iowait的值。%iowait并不能反应磁盘瓶颈，iowait实际测量的是cpu时间： %iowait = (cpu idle time)/(all cpu time)

    %idle: CPU空闲时间的百分比.小于70% IO压力就较大了,一般读取速度有较多的wait。

Device段:各磁盘设备的IO统计信息

    tps:每秒进程下发的IO读、写请求数量，该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。"一次传输"意思是"一次I/O请求"。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。

    kB_read/s：每秒从设备（drive expressed）读取的block数据量(一扇区为512bytes),单位为K；

    kB_wrtn/s：每秒向设备（drive expressed）写入的block数据量,单位为K；

    kB_read：读取的block总数据量,单位为K；

    kB_wrtn：写入的block总数量数据量,单位为K。

语法

    iostat [options] [interval [count]]

参数

       -d [facility]表示，显示设备（磁盘）使用状态，默认监控所有的硬盘设备，可以指定某一设备，如-d sda。；

       -k某些使用block为单位的列强制使用Kilobytes为单位,默认单位块

       -m 某些使用block为单位的列强制使用MB为单位,默认单位块

[root@localhost app]# iostat -d -k 1 3  #没1秒一次 刷新3次磁盘的使用状态
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	10/25/2017 	_x86_64(1 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
fd0               0.00         0.00         0.00          4          0
sda               0.26         4.66         7.25     746585    1161425
scd0              0.00         0.00         0.00         44          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
fd0               0.00         0.00         0.00          0          0
sda               0.00         0.00         0.00          0          0
scd0              0.00         0.00         0.00          0          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
fd0               0.00         0.00         0.00          0          0
sda               0.00         0.00         0.00          0          0
scd0              0.00         0.00         0.00          0          0

[root@localhost app]# iostat -d -k 1 
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	10/25/2017 	_x86_64(1 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
fd0               0.00         0.00         0.00          4          0
sda               0.26         4.66         7.25     746585    1161490
scd0              0.00         0.00         0.00         44          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
fd0               0.00         0.00         0.00          0          0
sda               0.00         0.00         0.00          0          0
scd0              0.00         0.00         0.00          0          0

^C
[root@localhost app]# iostat -d sda 1 4
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	10/25/2017 	_x86_64(1 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.26         4.66         7.25     746585    1161502

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               1.01         0.00         1.01          0          1

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.00         0.00         0.00          0          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.00         0.00         0.00          0          0

[root@localhost app]#

-x 显示和io相关的扩展数据

[root@localhost app]# iostat -d sda -x -k 1 1
Linux 3.10.0-514.el7.x86_64 (localhost.localdomain) 	10/25/2017 	_x86_64_	(1 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.02     0.11    0.12    0.14    0 4.62     7.19    90.47     0.01   26.45   11.86   38.50   2.43   0.06

[root@localhost ~]# iostat -x
Linux 3.10.0-327.el7.x86_64 (localhost.localdomain) 	01/09/2018 	_x86_64_	(8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.06    0.00    0.02    0.00    0.00   99.92

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00    0.00    0.19     0.20     1.72    19.47     0.00    0.42    2.51    0.36   0.37   0.01

[root@localhost ~]#

rrqm/s：每秒这个设备相关的读取请求有多少被Merge了（当系统调用需要读取数据的时候，VFS将请求发到各个FS，如果FS发现不同的读取请求读取的是相同Block的数据，FS会将这个请求合并Merge）；

wrqm/s：每秒这个设备相关的写入请求有多少被Merge了。

rsec/s：每秒读取的扇区数；

wsec/：每秒写入的扇区数。

rKB/s：The number of read requests that were issued to the device per second,单位为K；

wKB/s：The number of write requests that were issued to the device per second,单位为K；

r/s 和 w/s 分别是每秒的读操作和写操作，而rKB/s 和wKB/s 列以每秒千字节为单位显示了读和写的数据量 如果这两对数据值都很高的话说明磁盘io操作是很频繁。

avgrq-sz 平均请求扇区的大小，单位是扇区

avgqu-sz 是平均请求队列的长度。毫无疑问，队列长度越短越好。    

await：  每一个IO请求的处理的平均时间（单位是毫秒），这里可以理解为IO的响应时间，一般地系统IO响应时间应该低于5ms，如果大于10ms就比较大了。

              这个时间包括了队列时间和服务时间，也就是说，一般情况下，await大于svctm，它们的差值越小，则说明队列时间越短，反之差值越大，队列时间越长，说明系统出了问题。

svctm    表示平均每次设备I/O操作的服务时间（以毫秒为单位）。如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好，如果await的值远高于svctm的值，则表示I/O队列等待太长， 系统上运行的应用程序将变慢。svctm一项正常时间在20ms左右（一次读写就是一次寻到+一次旋转延迟+数据传输的时间。由于，现代硬盘数据传输就是几微秒或者几十微秒的事情，远远小于寻道时间2~20ms和旋转延迟4~8ms，所以只计算这两个时间就差不多了，也就是15~20ms。只要大于20ms，就必须考虑是否交给磁盘读写的次数太多，导致磁盘性能降低了）

正常情况下svctm应该是小于await值的，而svctm的大小和磁盘性能有关，CPU、内存的负荷也会对svctm值造成影响，过多的请求也会间接的导致svctm值的增加。

await值的大小一般取决与svctm的值和I/O队列长度以及I/O请求模式，如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好，如果await的值远高于svctm的值，则表示I/O队列等待太长，系统上运行的应用程序将变慢，此时可以通过更换更快的硬盘来解决问题。

%util： 在统计时间内所有处理IO时间，除以总共统计时间，util = (r/s+w/s) * (svctm/1000)，util=(0.12+0.14)*(2.43/1000)=0.0006318，所以该参数暗示了设备的繁忙程度，即一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的

。一般地，如果该参数是100%表示设备已经接近满负荷运行了（当然如果是多磁盘，即使%util是100%，因为磁盘的并发能力，所以磁盘使用未必就到了瓶颈）。

如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。 idle小于70% IO压力就较大了,一般读取速度有较多的wait.

-p device | ALL

  与-x选项互斥,用于显示块设备及系统分区的统计信息.也可以在-p后指定一个设备名,如:

  # iostat -p hda

  或显示所有设备

  # iostat -p ALL

-c 获取cpu部分状态值

-t    在输出数据时,打印搜集数据的时间.

-V    打印版本号和帮助信息.

top 命令

    

Tasks:

total 进程总数

running 正在运行的进程数

sleeping 睡眠的进程数

stopped 停止的进程数

zombie 僵尸进程数

Cpu(s):

us 用户空间占用CPU百分比

sy 内核空间占用CPU百分比

ni 用户进程空间内改变过优先级的进程占用CPU百分比

id 空闲CPU百分比

wa 等待输入输出的CPU时间百分比

wa 的百分比可以大致的体现出当前的磁盘io请求是否频繁。如果 wa的数量比较大，说明等待输入输出的的io比较多。

vmstat

        vmstat 命令报告关于线程、虚拟内存、磁盘、陷阱和 CPU 活动的统计信息。由 vmstat 命令生成的报告可以用于平衡系统负载活动。系统范围内的这些统计信息(所有的处理器中)都计算出以百分比表示的平均值，或者计算其总和。

格式: vmstat [-V] [-n] [-S unit] [delay [count]]

参数解释：

-V：显示vmstat版本信息

-n：只在开始时显示一次各字段名称

-a：显示活跃和非活跃内存

-d：显示各个磁盘相关统计信息

-D：显示磁盘总体信息

-p：显示指定磁盘分区统计信息

-s：显示内存相关统计信息及多种系统活动数量

-m：显示slabinfo

-t：在输出信息的时候也将时间一并输出出来

-S：使用指定单位显示。参数有k、K、m、M，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024bytes）

delay：刷新时间间隔。如果不指定，只显示一条结果

count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷

r  表示运行队列(就是说多少个进程真的分配到CPU)，当这个值超过了CPU数目，就会出现CPU瓶颈了。

b 表示阻塞的进程,在等待资源的进程数，比如正在等待I/O或者内存交换等。

swpd 虚拟内存已使用的大小（单位KB），

free   空闲的物理内存的大小（单位KB），

buff   Linux/Unix系统是用来存储（单位KB）目录里面有什么内容，权限等的缓存，

cache cache直接用来记忆我们打开的文件,给文件做缓冲，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)

si  每秒从磁盘读入虚拟内存的大小(单位：KB/秒)，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

so  每秒虚拟内存写入磁盘的大小(单位：KB/秒)，如果这个值大于0，同上。

bi 块设备每秒接收的块数量，单位kb/s，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，

bo 块设备每秒发送的块数量，单位kb/s，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

注意：如果bi+bo的值过大，且wa值较大，则表示系统磁盘IO瓶颈

in 每秒CPU的中断次数，包括时间中断

cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

us 用户CPU时间

sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

id  空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

wa：表示IO等待所占用的CPU时间百分比，wa值越高，说明I/O等待越严重，根据经验wa的参考值为20%，如果超过20%，说明I/O等待严重，引起I/O等待的原因可能是磁盘大量随机读写造成的，也可能是磁盘或者监控器的贷款瓶颈（主要是块操作）造成的

---

iotop

用来监视磁盘I/O使用状况的top类工具，IO统计工具如iostat，nmon等大多数是只能统计到per设备的读写情况，使用iotop命令可以很方便的查看每个进程是如何使用IO的。otop使用Python语言编写而成，要求Python2.5（及以上版本）和Linux kernel2.6.20（及以上版本）；

一般排查系统IO性能时，先使用iostat查看系统IO是否有延迟，如果有延迟可以通过iotop来查看是哪个进程占用了IO

yum install iotop

iotop（选项）

--version #显示版本号

-h, --help #显示帮助信息

-o, --only #显示进程或者线程实际上正在做的I/O，而不是全部的，可以随时切换按o

-b, --batch #运行在非交互式的模式

-n NUM, --iter=NUM #在非交互式模式下，设置显示的次数，

-d SEC, --delay=SEC #设置显示的间隔秒数，支持非整数值

-p PID, --pid=PID #只显示指定PID的信息

-u USER, --user=USER #显示指定的用户的进程的信息

-P, --processes #只显示进程，一般为显示所有的线程

-a, --accumulated #显示从iotop启动后每个线程完成了的IO总数

-k, --kilobytes #以千字节显示

-t, --time #在每一行前添加一个当前的时间

-q, --quie

快捷键：

左右箭头：改变排序方式，默认是按IO排序。

r：改变排序顺序。

o：只显示有IO输出的进程。

p：进程/线程的显示方式的切换。

a：显示累积使用量。

q：退出。

服务器的IO负载很高（iostat中的util）