本文详细介绍了各种Ceph性能测试工具的使用，包括Ceph自带的rados bench、fio以及Iometer。重点讲解了fio的详细参数设置，如ioengine、blocksize、iodepth等，以及如何通过fio进行块设备的顺序读写和随机读写的性能测试。同时，提到了网络测试工具iperf和对象存储测试工具Cosbench的配置与工作负载添加。最后，讨论了iostat作为IO监测工具的作用和使用方法。
性能测试工具
1.1 磁盘性能测试
dd
1.2 网络测试
1.2.1 iperf工具简介
iperf是一个网络性能测试工具。Iperf可以测试TCP和UDP带宽质量。iperf可以测量最大TCP带宽，具有多种参数和UDP特性。 Iperf可以报告带宽，延迟抖动和数据包丢失。利用Iperf这一特性，可以用来测试一些网络设备如路由器，防火墙，交换机等的性能。
1.2.2 iperf参数介绍
| 命令行选项 |
描述 |
| 客户端与服务器共用选项 |
|
| -f, --format [bkmaBKMA] |
格式化带宽数输出。支持的格式有： |
| -i, --interval # |
设置每次报告之间的时间间隔，单位为秒。如果设置为非零值，就会按照此时间间隔输出测试报告。默认值为零。 |
| -l, --len #[KM] |
设置读写缓冲区的长度。TCP方式默认为8KB，UDP方式默认为1470字节。 |
| -m, --print_mss |
输出TCP MSS值（通过TCP_MAXSEG支持）。MSS值一般比MTU值小40字节。通常情况 |
| -p, --port # |
设置端口，与服务器端的监听端口一致。默认是5001端口，与ttcp的一样。 |
| -u, --udp |
使用UDP方式而不是TCP方式。参看-b选项。 |
| -w, --window #[KM] |
设置套接字缓冲区为指定大小。对于TCP方式，此设置为TCP窗口大小。对于UDP方式，此设置为接受UDP数据包的缓冲区大小，限制可以接受数据包的最大值。 |
| -B, --bind host |
绑定到主机的多个地址中的一个。对于客户端来 说，这个参数设置了出栈接口。对于服务器端来说，这个参数设置入栈接口。这个参数只用于具有多网络接口的主机。在Iperf的UDP模式下，此参数用于绑 定和加入一个多播组。使用范围在224.0.0.0至239.255.255.255的多播地址。参考-T参数。 |
| -C, --compatibility |
与低版本的Iperf使用时，可以使用兼容模式。不需要两端同时使用兼容模式，但是强烈推荐两端同时使用兼容模式。某些情况下，使用某些数据流可以引起1.7版本的服务器端崩溃或引起非预期的连接尝试。 |
| -M, --mss #[KM} |
通过TCP_MAXSEG选项尝试设置TCP最大信息段的值。MSS值的大小通常是TCP/IP头减去40字节。在以太网中，MSS值 为1460字节（MTU1500字节）。许多操作系统不支持此选项。 |
| -N, --nodelay |
设置TCP无延迟选项，禁用Nagle's运算法则。通常情况此选项对于交互程序，例如telnet，是禁用的。 |
| -V (from v1.6 or higher) |
绑定一个IPv6地址。 |
| 服务器端专用选项 |
|
| -s, --server |
Iperf服务器模式 |
| -D (v1.2或更高版本) |
Unix平台下Iperf作为后台守护进程运行。在Win32平台下，Iperf将作为服务运行。 |
| -R(v1.2或更高版本，仅用于Windows) |
卸载Iperf服务（如果它在运行）。 |
| -o(v1.2或更高版本，仅用于Windows) |
重定向输出到指定文件 |
| -c, --client host |
如果Iperf运行在服务器模式，并且用-c参数指定一个主机，那么Iperf将只接受指定主机的连接。此参数不能工作于UDP模式。 |
| -P, --parallel # |
服务器关闭之前保持的连接数。默认是0，这意味着永远接受连接。 |
| 客户端专用选项 |
|
| -b, --bandwidth #[KM] |
UDP模式使用的带宽，单位bits/sec。此选项与-u选项相关。默认值是1 Mbit/sec。 |
| -c, --client host |
运行Iperf的客户端模式，连接到指定的Iperf服务器端。 |
| -d, --dualtest |
运行双测试模式。这将使服务器端反向连接到客户端，使用-L 参数中指定的端口（或默认使用客户端连接到服务器端的端口）。这些在操作的同时就立即完成了。如果你想要一个交互的测试，请尝试-r参数。 |
| -n, --num #[KM] |
传送的缓冲器数量。通常情况，Iperf按照10秒钟发送数据。-n参数跨越此限制，按照指定次数发送指定长度的数据，而不论该操作耗费多少时间。参考-l与-t选项。 |
| -r, --tradeoff |
往复测试模式。当客户端到服务器端的测试结束时，服务器端通过-l选项指定的端口（或默认为客户端连接到服务器端的端口），反向连接至客户端。当客户端连接终止时，反向连接随即开始。如果需要同时进行双向测试，请尝试-d参数。 |
| -t, --time # |
设置传输的总时间。Iperf在指定的时间内，重复的发送指定长度的数据包。默认是10秒钟。参考-l与-n选项。 |
| -L, --listenport # |
指定服务端反向连接到客户端时使用的端口。默认使用客户端连接至服务端的端口。 |
| -P, --parallel # |
线程数。指定客户端与服务端之间使用的线程数。默认是1线程。需要客户端与服务器端同时使用此参数。 |
| -S, --tos # |
出栈数据包的服务类型。许多路由器忽略TOS字段。你可以指定这个值，使用以"0x"开始的16进制数，或以"0"开始的8进制数或10进制数。 |
| -T, --ttl # |
出栈多播数据包的TTL值。这本质上就是数据通过路由器的跳数。默认是1，链接本地。 |
| -F (from v1.2 or higher) |
使用特定的数据流测量带宽，例如指定的文件。 |
| -I (from v1.2 or higher) |
与-F一样，由标准输入输出文件输入数据。 |
| 杂项 |
|
| -h, --help |
显示命令行参考并退出 。 |
| -v, --version |
显示版本信息和编译信息并退出。 |
2. Ceph自带测试工具
http://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance
2.1集群基准性能测试
1. rados bench
命令行格式：rados bench seconds mode [ -b objsize ] [ -t threads ]
参数说明：mode 可以是 write 、 seq 或 rand 。 seq 和 rand 分别是顺序读、随机读压力测试，默认对象尺寸是 4 MB ，默认模拟线程数为 16 。 注：-b objsize 仅适用于 write 模式。
例：
rados bench -p pool 30 write -b blocksize --no-cleanup
rados bench -p scbench 30 seq
rados bench -p scbench 30 rand
2. rados load-gen
A bit similar to the rados bench, rados load-gen is another interesting tool provided by Ceph, which runs out-of-the-box. As the name suggests, the rados load-gen tool can be used to generate load on a Ceph cluster and can be useful to simulate high load scenarios.
命令行格式及参数说明：
rados -p <pool-name> load-gen --num-objects: The total number of objects --min-object-size: The minimum object size in bytes --max-object-size: The maximum object size in bytes --min-ops: The minimum number of operations --max-ops: The maximum number of operations --min-op-len: The minimum operation length --max-op-len: The maximum operation length --max-backlog: The maximum backlog (in MB) --percent: The percentage of read operations --target-throughput: The target throughput (in MB) --run-length: The total run time in second
2.2 块设备基准性能测试
命令行格式：rados bench-write
[–io-size size-in-B/K/M/G/T] [–io-threads num-ios-in-flight]
[–io-total total-size-to-write-in-B/K/M/G/T]
[–io-pattern seq | rand] image-spec\
参数说明：
--io-size: The write size in bytes; the default is 4M
--io-threads: The number of threads; the default is 16
--io-total: The total bytes to write; the default is 1024M
--io-pattern <seq|rand>: This is the write pattern, the default is seq
例：
rbd bench-write image --pool=pool --io-size size --io-pattern seq
rbd bench-write image --pool=pool --io-size size --io-pattern rand
3. fio使用说明(块设备测试)
3.1 fio简介
fio 是一个 开源的硬件I/O压力测试工具，主要是用来测试磁盘/SSD的io性能，也可测试cpu，nic的io性能。它可以支持13种不同的I/O引擎，包括：sync, mmap, libaio, posixaio, SG v3, splice, network, syslet,guasi, solarisaio, I/O priorities (针对新的Linux内核),rate I/O, forked or threaded jobs等。不同引擎的具体含义，可以参看fio的说明文档（安装后可以通过man fio查看）。Fio支持以下功能：
1）支持十几种存储引擎，可以自定义
2）自带做图工具，调用gnuplot做图
3）支持几乎所有的存储描述参数
4）大量对CPU，内存，进程/线程，文件，IO特性的配置
5）压缩，trace回放等
3.2 fio简单用法
顺序读：
fio -filename=/dev/rbd0 -direct=1 -iodepth 32 -thread -rw=read -ioengine=libaio-bs=4K -numjobs=1 -runtime=1800 -ramp_tim=60 -norandommap -group_reporting-name=cephtest
随机读：
fio -filename=/dev/rbd0 -direct=1 -iodepth 32 -thread -rw=randread-ioengine=libaio -bs=4K -numjobs=1 -runtime=1800 -ramp_tim=60 -norandommap-group_reporting -name=cephtest
顺序写：
fio -filename=/dev/rbd0 -direct=1 -iodepth 32 -thread -rw=write-ioengine=libaio -bs=4K -numjobs=1 -runtime=1800 -ramp_tim=60 -norandommap-group_reporting -name=cephtest
随机写：
fio -filename=/dev/rbd0 -direct=1 -iodepth 32 -thread-rw=randwrite -ioengine=libaio -bs=4K -numjobs=1 -runtime=1800 -ramp_tim=60-norandommap -group_reporting -name=cephtest
3.3 fio参数说明
参数类型：
str 字符串
time时间（int)
int 整数
bool
irange 整数范围
float_list 符点数列
3.2.1 一个job包含的基本的参数
1）IO类型
向文件发起的IO类型。
<1> readwrite=str,rw=str
read 顺序读
write 顺序写
randwrite 随机写
randread 随机读
rw,readwrite 顺序混合读写
randrw 随机混合读写
[参数备注]
对于混合io类型，混认是50%的读，50%的写，对于特定的io类型，因为速度可能不同，结果可能会有稍有偏差.
通过在在str之后加“:<nr>”可以配置在执行一下获取offset操作之前要执行的IO次数。For a random read, it would lik ‘rw=randread:8′ for passing in an offset modifier with a value of 8.如果后缀用于顺序IO类型的话，，那么将在每次IO之后，将这个值加到产生的offset之后。e.g. rw=write:4k每次写之后将会跳过4K。它将顺序的IO转化为带有洞的顺序IO。参考‘rw_sequencer’选项。
<2>rw_sequencer=str
如果rw=<str>后有offset修饰的话，这个选项可以控制这个数字<nr>如何修饰产生的IO offset.可以接收的值是：
sequential 产生顺序的offset
identical 产生相同的offset
[参数备注]
‘sequential’仅用于随机IO。通常情况下，fio在每次IO之后，将会生成一个新的随机IO。e.g.rw=randread:8，将会在每8次IO之后执行seek，而不是每次IO之后。顺序IO已经是顺序的，再设置为‘sequential’将不会产生任何不同。‘identical’会产生同‘sequential’相似的行为，只是它会连续产生8次相同的offset，然后生成一个新的offset.
2）block size
产生的IO单元的大小，可以是一个孤立的值，也可以是一个范围。
<1>blocksize=int,bs=int
单次IO的block size,默认为4k。如果是单个值的话，将会对读写都生效。如果是一个逗号，再跟一个int值的话，则是仅对于写有效。也就是说，格式可以是bs=read_end_write或是bs=read,write。e.g. bs=4k,8k读使用4k的块，写使用8k的块。e.g.bs=,8k将使得写采用8k的块，读采用默认的值。
3）IO size
将会读/写多少数据
<1>size=int
这个job IO总共要传输的数据的大小。FIO将会执行到所有的数据传输完成，除非设定了运行时间（‘runtime’选项）。除非有特定的‘nrfiles’选项和‘filesize’选项被设置，fio将会在job定义的文件中平分这个大小。如果这个值不设置的话，fio将会使用这个文件或设备的总大小。如果这些文件不存在的话，size选项一定要给出。也可以给出一个1到100的百分比。e.g. size=20%，fio将会使用给定的文件或设备的20%的空间。
4）IO引擎
发起IO的方式。
<1>ioengine=str
定义job向文件发起IO的方式
sync 基本的read,write.lseek用来作定位
psync 基本的pread,pwrite
vsync 基本的readv,writev
libaio Linux专有的异步IO。Linux仅支持非buffered IO的队列行为。
posixaio glibc posix异步IO
solarisaio solaris独有的异步IO
windowsaio windows独有的异步IO
mmap 文件通过内存映射到用户空间，使用memcpy写入和读出数据
splice 使用splice和vmsplice在用户空间和内核之间传输数据
syslet-rw 使用syslet 系统调用来构造普通的read/write异步IO
sg SCSI generic sg v3 io.可以是使用SG_IO ioctl来同步，或是目标是一个sg字符设备，我们使用read和write执行异步IO
null 不传输任何数据，只是伪装成这样。主要用于训练使用fio，或是基本debug/test的目的。
net 根据给定的host:port通过网络传输数据。根据具体的协议，hostname,port,listen,filename这些选项将被用来说明建立哪种连接，协议选项将决定哪种协议被使用。
netsplice 像net，但是使用splic/vmsplice来映射数据和发送/接收数据。
cpuio 不传输任何的数据，但是要根据cpuload=和cpucycle=选项占用CPU周期.e.g. cpuload=85将使用job不做任何的实际IO，但要占用85%的CPU周期。在SMP机器上，使用numjobs=<no_of_cpu>来获取需要的CPU，因为cpuload仅会载入单个CPU，然后占用需要的比例。
guasi GUASI IO引擎是一般的用于异步IO的用户空间异步系统调用接
rdma RDMA I/O引擎支持RDMA内存语义（RDMA_WRITE/RDMA_READ）和通道主义(Send/Recv）用于InfiniBand,RoCE和iWARP协议
external 指明要调用一个外部的IO引擎（二进制文件）。e.g. ioengine=external:/tmp/foo.o将载入/tmp下的foo.o
最低0.47元/天 解锁文章
扫一扫
384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
