【测试】linux FIO命令详解(一):磁盘IO测试工具 fio (并简要介绍iostat工具)

目录

随看随用

FIO介绍

FIO 工具常用参数:

fio工作参数可以写入配置文件

IO状态监控:

Iostat介绍

与FIO相似的工具

fio测试脚本

提取iops和bw

gunplot画图

Fio 输出内容的解释


随看随用

FIO用法:

随机读:(可直接用,向磁盘写一个2G文件,10线程,随机读1分钟,给出结果)
fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

说明:

filename=/dev/emcpowerb 支持文件系统或者裸设备,-filename=/dev/sda2或-filename=/dev/sdb
direct=1                 测试过程绕过机器自带的buffer,使测试结果更真实
rw=randwread             测试随机读的I/O
rw=randwrite             测试随机写的I/O
rw=randrw                测试随机混合写和读的I/O
rw=read                  测试顺序读的I/O
rw=write                 测试顺序写的I/O
rw=rw                    测试顺序混合写和读的I/O
bs=4k                    单次io的块文件大小为4k
bsrange=512-2048         同上,提定数据块的大小范围
size=5g                  本次的测试文件大小为5g,以每次4k的io进行测试
numjobs=30               本次的测试线程为30
runtime=1000             测试时间为1000秒,如果不写则一直将5g文件分4k每次写完为止
time_based: 如果在runtime指定的时间还没到时文件就被读写完成,将继续重复直到runtime时间结束。
ioengine=psync           io引擎使用pync方式,如果要使用libaio引擎,需要yum install libaio-devel包
rwmixwrite=30            在混合读写的模式下,写占30%
group_reporting          关于显示结果的,汇总每个进程的信息
此外
lockmem=1g               只使用1g内存进行测试
zero_buffers             用0初始化系统buffer
nrfiles=8                每个进程生成文件的数量

read 顺序读

write 顺序写

rw,readwrite 顺序混合读写

randwrite 随机写

randread 随机读

randrw 随机混合读写

io总的输入输出量 

bw:带宽   KB/s 

iops:每秒钟的IO数

runt:总运行时间

lat (msec):延迟(毫秒)

msec: 毫秒

usec: 微秒

顺序读:
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

随机写:
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

顺序写:
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

混合随机读写:
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest -ioscheduler=noop

原文:https://blog.csdn.net/don_chiang709/article/details/92628623

FIO介绍

FIO是测试IOPS的非常好的工具,用来对磁盘进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标,可以按照负载情况分成照顺序读写,随机读写两大类。

FIO是一个可以产生很多线程或进程并执行用户指定的特定类型I/O操作的工具,IO 是一个多线程io生成工具,可以生成多种IO模式,用来测试磁盘设备的性能(也包含文件系统:如针对网络文件系统 NFS 的IO测试)。

fio在github上的坐标:https://github.com/axboe/fio 。

查看当前 fio 已支持的 IO 引擎

# fio --enghelp

Available IO engines:
	cpuio
	mmap
	sync
	psync
	vsync
	pvsync
	null
	net
	netsplice
	libaio
	rdma
	posixaio
	falloc
	e4defrag
	splice
	rbd
	mtd
	sg
	binject

FIO 工具常用参数:

参数说明:

filename=/dev/sdb1 测试文件名称,通常选择需要测试的盘的data目录。direct=1 是否使用directIO,测试过程绕过OS自带的buffer,使测试磁盘的结果更真实。Linux读写的时候,内核维护了缓存,数据先写到缓存,后面再后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快,但是一旦掉电缓存里的数据就没了。所以有一种模式叫做DirectIO,跳过缓存,直接读写SSD。 

rw=randwrite 测试随机写的I/Orw=randrw 测试随机写和读的I/O

bs=16k 单次io的块文件大小为16kbsrange=512-2048 同上,提定数据块的大小范围size=5G 每个线程读写的数据量是5GB。

numjobs=1 每个job(任务)开1个线程,这里=几个,后面每个用-name指定的任务就开几个线程测试。所以最终线程数=任务数(几个name=jobx)* numjobs。 name=job1:一个任务的名字,重复了也没关系。如果fio -name=job1 -name=job2,建立了两个任务,共享-name=job1之前的参数。-name之后的就是job2任务独有的参数。 

thread  使用pthread_create创建线程,另一种是fork创建进程。进程的开销比线程要大,一般都采用thread测试。fio默认会使用fork()创建job,如果这个选项设置的话,fio将使用pthread_create来创建线程。 

runtime=1000 测试时间为1000秒,如果不写 则一直将5g文件分4k每次写完为止。ioengine=libaio 指定io引擎使用libaio方式。libaio:Linux本地异步I/O。请注意,Linux可能只支持具有非缓冲I/O的排队行为(设置为“direct=1”或“buffered=0”);rbd:通过librbd直接访问CEPH Rados iodepth=16 队列的深度为16.在异步模式下,CPU不能一直无限的发命令到SSD。比如SSD执行读写如果发生了卡顿,那有可能系统会一直不停的发命令,几千个,甚至几万个,这样一方面SSD扛不住,另一方面这么多命令会很占内存,系统也要挂掉了。这样,就带来一个参数叫做队列深度。Block Devices(RBD),无需使用内核RBD驱动程序(rbd.ko)。该参数包含很多ioengine,如:libhdfs/rdma等rwmixwrite=30 在混合读写的模式下,写占30%group_reporting  

如果‘numjobs’设置的话,我们感兴趣的可能是打印group的统计值,而不是一个单独的job。这在‘numjobs’的值很大时,一般是设置为true的,可以减少输出的信息量。如果‘group_reporting’设置的话,fio将会显示最终的per-groupreport而不是每一个job都会显示。
此外lockmem=1g 只使用1g内存进行测试。zero_buffers 用0初始化系统buffer。nrfiles=8 每个进程生成文件的数量。

a.loops=int
重复运行某个job多次,默认是1。
loops与runtime是两个不能同时存在的两个参数,loops主要是定义硬盘执行的圈数,而runtime只是定义fio执行的时间。b.time_based
如果设置的话,

  • 8
    点赞
  • 46
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: Linux fio命令是一款功能非常强大的IO测试工具,可以测试磁盘性能、网络性能等。它可以创建不同类型的IO负载,支持多线程测试,能够测试读写随机访问等不同场景下的性能表现,并能够生成报告进行分析。使用fio命令可以有效地评估系统IO性能表现,帮助用户找到系统瓶颈,从而优化系统性能。 ### 回答2: Linux Fio命令是一款性能测试工具,它可以用来测试存储设备或文件系统的性能。它可以随机读取、顺序读取、随机写入、顺序写入等测试。下面我们来详细了解一下Linux Fio命令的使用。 1、安装Linux Fio命令 我们可以使用下面的命令Linux系统中安装Fio:sudo apt-get install fio 2、语法格式 fio [OPTIONS] [fio config files] 其中OPTIONS表示选项,包括:--name、--description、--ioengine、--blocksize等。fio config files表示配置文件的路径。 3、常见的Fio选项 (1)--name:命名当前测试,便于在日志中识别。 (2)--description:为当前测试进行描述,便于说明测试目的。 (3)--ioengine:设定IO引擎,包括async、mmap、sync、pvsync等。 (4)--blocksize:设定块大小,一般为512、4096等。 (5)--iodepth:设定I/O队列深度,一般为1、2、4、8等。 (6)--size:设定测试文件大小。 (7)--time_based:设定测试时间。 (8)--rw:设定读写模式,包括randread、randwrite、read、write等。 (9)--numjobs:设定同时进行的I/O操作数。 4、Fio配置文件 Fio的配置文件采用ini格式,其中包括以下几个关键词: (1)[global]:设定全局参数,如调度器,I/O引擎等。 (2)[job]:指定一个测试任务。 (3)[read]:指定读取操作的设置。 (4)[write]:指定写入操作的设置。 (5)[randread]:指定随机读取操作的设置。 (6)[randwrite]:指定随机写入操作的设置。 (7)[rwmixread]:指定读写比例。 5、使用Fio进行测试 我们可以使用下面的命令进行测试:sudo fio test.fio 其中test.fioFio配置文件的名称,我们也可以使用其他名称。 6、结论 通过使用Fio测试存储设备或文件系统的性能,可以比较客观地了解它们的读写能力,从而选择最合适的存储方案。但是需要注意的是,我们需要根据自己的情况设置合理的参数,才能得到可靠的测试结果。 ### 回答3: Linux下的fio命令是一款非常强大的IO性能测试工具,常用于测试各种存储设备的IO性能,包括硬盘、SSD、NVMe、RAID等。它支持多种IO模式、多种块大小、多种混合读写模式、多种IO引擎、多种输出格式等,可以模拟出各种实际应用场景下的IO负载,非常灵活。 fio命令的基本语法为:fio [options] [jobfile,......]。 其中,options表示命令选项,jobfile表示fio测试工作的配置文件。 fio测试工作的配置文件中,可以指定多个job来测试不同的IO负载。每个job由多个section构成,可以指定section的IO模式、块大小、读写比例、IO深度、运行时间、输出格式等,同时还可以指定多个模拟设备、多个文件或目录进行测试fio支持的IO模式包括: - sync:同步IO,即阻塞IO,占用CPU时间长,但IO质量和性能最优。 - async:异步IO,不占用CPU时间,但IO质量和性能较差。 - mmap:内存映射IO,可以将文件映射到内存中进行IO操作。 fio支持的块大小包括: - 512bytes - 1KB - 2KB - 4KB - 8KB - 16KB - 32KB - 64KB - 128KB - 256KB - 512KB - 1MB - 2MB - 4MB - 8MB - 16MB - 32MB - 64MB - 128MB fio支持的读写混合模式包括: - randwrite:随机写入数据 - randread:随机读取数据 - randrw:既有随机写入数据,又有随机读取数据 - readwrite:既有顺序写入数据,又有顺序读取数据 fio支持的IO引擎包括: - sync:同步IO引擎 - mmap:内存映射引擎 - libaio:异步IO引擎 - posixaio:异步IO引擎 - pvsync:相对比sync性能更好的同步IO引擎 fio支持的输出格式包括: - human:人类可读的格式,以KB/s、MB/s、IOPS等为单位 - normal:标准格式,包括各种统计信息,用于后续分析 - json:JSON格式,方便系统集成和自动化测试 总之,fio命令是一款非常强大的IO性能测试工具,可以帮助我们非常准确地测试各种存储设备的IO性能,并针对不同的应用场景进行优化。如果你是一位系统管理员或开发人员,一定要熟练掌握fio命令的使用,它会对你的工作带来很大的帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值