看完大牛这篇文章，再遇到服务器反映慢的情况就不怕了

最近服务器反映很慢，查看服务器上的应用程序经常出现超时等等，而且还有时候出现卡死的情况，经过发现服务器I/O压力很大，压力来自硬盘的I/O访问已经达到100%。
　　
最后原因是线上业务代码同一时间写入导致服务器硬盘I/O爆表了，我这里纪录一下为了方便各位和自己今后遇到此类问题能尽快解决。
　　
使用 top 命令来看一下 实时查看系统状态信息：

CPU状态（CPU s）: 用户进程占用比率、系统进程占用比率、用户的nice 优先级进程占用比率及空闲CPU资源比率等；

内存状态 （Mem）: 内存总量、使用量、空闲量等；

交换分区状态（ Swap）：交换分区总量、使用量、空闲量等；

其中CPU状态下的参数说明 ：

us：用户态使用的CPU时间比

sy：系统态使用的CPU时间比

ni： 用做nice加权的进程分配的用户态CPU时间比

id：空闲的CPU时间比

wa：CPU等待磁盘写入完成时间

hi：硬中断消耗时间

si：软中断消耗时间

st：虚拟机偷取时间

可以看到服务器的wa（71.1%）特别高，IO等待所占用的CPU时间的百分比,高过30%时IO压力高，说明是磁盘IO有问题。

我们使用 iostat 等命令继续进行详细分析，如果服务器上没有 iostat 要进行安装如下：

[root@Mike-VM-Node-172_31_225_214 ~]# yum install sysstat
[root@Mike-VM-Node-172_31_225_214 ~]# iostat 
Linux 3.10.0-514.26.2.el7.x86_64 (Mike-VM-Node172_31_225_214.com)     11/03/2020     _x86_64_    (1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.14    0.00    0.04    0.01    0.00   99.81

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.44         1.38         4.59    1786837    5940236

[root@Mike-VM-Node-172_31_225_214 ~]#

参数说明：

%user：CPU处在用户模式下的时间百分比

%nice：CPU处在带NICE值的用户模式下的时间百分比

%system：CPU处在系统模式下的时间百分比

%iowait：CPU等待输入输出完成时间的百分比

%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比

%idle：CPU空闲时间百分比

tps：该设备每秒的传输次数，“一次传输"意思是"一次I/O请求”。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的

kB_read/s：每秒从设备读取的数据量

kB_wrtn/s：每秒向设备写入的数据量

kB_read：读取的总数据量

kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes

使用 iostat -x 1 10 命令查看一下IO状态。

[root@Mike-VM-Node-172_31_225_214 ~]# iostat -x 1 10
Linux 3.10.0-514.26.2.el7.x86_64 (Mike-VM-Node172_31_225_214.com)     11/03/2020     _x86_64_    (1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.13    0.00    0.04    97.01    0.00   99.82

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.10    0.06    0.33     1.07     4.42    28.07     0.00   10.94   22.13    8.83   0.35   0.01

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.00    0.00    4.00   95.00    0.00    0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00 2140.00     0.00  8560.00     8.00    19.87    9.29    0.00    9.29   0.47 100.00

可以查看 %util 100.00 %idle 99.82。

%util的值一直在增加，磁盘的利用率越来越高，说明对io操作越来越频繁，对磁盘资源的使用越来越多，这与增加对于io操作的线程是一致的。

如果 %util 已经 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。

idle大于99% IO压力已经到很极限,一般读取速度有较多的wait。

参数说明:

rrqm/s: 每秒进行 merge 的读操作数目。即 rmerge/s

wrqm/s: 每秒进行 merge 的写操作数目。即 wmerge/s

r/s: 每秒完成的读 I/O 设备次数。即 rio/s

w/s: 每秒完成的写 I/O 设备次数。即 wio/s

rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节

wkB/s: 每秒写K字节数。是 wsect/s 的一半

avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)

avgqu-sz: 平均I/O队列长度

rsec/s: 每秒读扇区数。即 rsect/s

wsec/s: 每秒写扇区数。即 wsect/s

r_await:每个读操作平均所需的时间，不仅包括硬盘设备读操作的时间，还包括了在kernel队列中等待的时间

w_await:每个写操作平均所需的时间，不仅包括硬盘设备写操作的时间，还包括了在kernel队列中等待的时间

await: 平均每次设备I/O操作的等待时间 (毫秒)

svctm: 平均每次设备I/O操作的服务时间 (毫秒)

%util: 一秒中有百分之多少的时间用于 I/O 操作，即被io消耗的cpu百分比

如果你想对硬盘做一个IO负荷压力测试可以用 fio 命令,如果服务器上没有 fio 要进行安装如下：

[root@Mike-VM-Node-172_31_225_214 ~]# yum install -y fio

下面这命令将在指定目录下，生成30个1G文件，是多线程并发执行的：

[root@Mike-VM-Node-172_31_225_214 /tmp]# fio -directory=/tmp/ -name=readtest -direct=1-iodepth1-thread -rw=write -ioengine=psync -bs=4k -size=1G -numjobs=30-runtime=3-group_reporting

numjobs=30 表示30个并发。

-rw=可供选择的有read单测读write单测写rw读写同时测randrw随机读写同时测randread单测随机读randwrite单测随机写。

-runtime=单位是秒，表示测试的总时长。

如果你

①从事功能测试，想进阶自动化测试

②在测试界混了1、2年，依然不会敲代码

③面试大厂却屡屡碰壁

我邀你进群吧！来吧~~测试员，313782132（Q群里有技术大牛一起交流分享，学习资源的价值取决于你的行动，莫做“收藏家”）获取更多大厂技术、面试资料