Linux IO 测试工具 fio命令

fio是测试IO的非常好的工具，用来对磁盘进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。fio是一个可以产生很多线程或进程并执行用户指定的特定类型I/O操作的工具，fio的典型用途是编写和模拟的I/O负载匹配的作业文件。也就是说fio 是一个多线程io生成工具，可以生成多种IO模式，用来测试磁盘设备的性能（也包含文件系统：如针对网络文件系统 NFS 的IO测试）。

fio在github地址：https://github.com/axboe/fio

fio 工具常用参数说明

filename=/dev/sdb1 测试文件名称，通常选择需要测试的盘的data目录。
direct=1 是否使用directIO，测试过程绕过OS自带的buffer，使测试磁盘的结果更真实。Linux读写的时候，内核维护了缓存，数据先写到缓存，后面再后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快，但是一旦掉电缓存里的数据就没了。所以有一种模式叫做DirectIO，跳过缓存，直接读写SSD。 
rw=randwrite 测试随机写的I/O
rw=randrw 测试随机写和读的I/O
bs=16k 单次io的块文件大小为16k
bsrange=512-2048 同上，提定数据块的大小范围
size=5G 每个线程读写的数据量是5GB。
numjobs=1 每个job（任务）开1个线程，这里用了几，后面每个用-name指定的任务就开几个线程测试。所以最终线程数=任务数（几个name=jobx）* numjobs。 
name=job1：一个任务的名字，重复了也没关系。如果fio -name=job1 -name=job2，建立了两个任务，共享-name=job1之前的参数。-name之后的就是job2任务独有的参数。 
thread  使用pthread_create创建线程，另一种是fork创建进程。进程的开销比线程要大，一般都采用thread测试。 
runtime=1000 测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。
ioengine=libaio 指定io引擎使用libaio方式。libaio：Linux本地异步I/O。请注意，Linux可能只支持具有非缓冲I/O的排队行为（设置为“direct=1”或“buffered=0”）；rbd:通过librbd直接访问CEPH Rados 
iodepth=16 队列的深度为16.在异步模式下，CPU不能一直无限的发命令到SSD。比如SSD执行读写如果发生了卡顿，那有可能系统会一直不停的发命令，几千个，甚至几万个，这样一方面SSD扛不住，另一方面这么多命令会很占内存，系统也要挂掉了。这样，就带来一个参数叫做队列深度。
Block Devices（RBD），无需使用内核RBD驱动程序（rbd.ko）。该参数包含很多ioengine，如：libhdfs/rdma等
rwmixwrite=30 在混合读写的模式下，写占30%
group_reporting 关于显示结果的，汇总每个进程的信息。
此外
lockmem=1g 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles=8 每个进程生成文件的数量。
磁盘读写常用测试点：
1. Read=100% Ramdon=100% rw=randread (100%随机读)
2. Read=100% Sequence=100% rw=read （100%顺序读）
3. Write=100% Sequence=100% rw=write （100%顺序写）
4. Write=100% Ramdon=100% rw=randwrite （100%随机写）
5. Read=70% Sequence=100% rw=rw, rwmixread=70, rwmixwrite=30
（70%顺序读，30%顺序写）
6. Read=70% Ramdon=100% rw=randrw, rwmixread=70, rwmixwrite=30
(70%随机读，30%随机写)

fio -ioengine=sync -bs=16k -direct=1 -thread -rw=read -filename=test.txt -name="BS 4KB read test" -runtime=60

fio -ioengine=sync -bs=16k -direct=1 -thread -rw=write -size=10G -filename=test.txt -name="Max throughput" -iodepth=4 -runtime=60

首先就是 I/O engine，这个就是告诉 fio 使用什么样的方式去测试 I/O，我们需要根据业务的实际情况选择不同的类型，主要几个：

• libaio - Linux 原生的异步 I/O，这也是通常我们这边用的最多的测试盘吞吐和延迟的方法
• sync - 也就是最通常的 read / write 操作
• vsync - 使用 readv / writev，主要是会将相邻的 I/O 进行合并
• psync - 对应的 pread / pwrite
• pvsync / pvsync2 - 对应的 preadv / pwritev，以及 preadv2 / p writev2

在要注意的就是 I/O type，譬如是否使用 direct，还是 buffered，如果是 buffered，我们多少次 I/O 之后使用 fsync 或者 fdatasync 来进行强制 sync 操作。我们还需要选择合适的 I/O pattern 来进行测试，这个主要是 readwrite 来确定，包括：
read - 顺序读
write - 顺序写
trim - 顺序裁剪
randread - 随机读
randwrite - 随机写
randtrim - 随机裁剪
rw, readwrite - 混合顺序读写
randrw - 混合的随机读写
trimwrite - 顺序的裁剪 + 顺序写

参考地址：
https://www.jianshu.com/p/9d823b353f22
https://blog.csdn.net/don_chiang709/article/details/92628623
https://www.cnblogs.com/xuyaowen/archive/2019/04/11/fio-usage.html