linux nfs挂载 测速,CentOS下使用fio测试挂载了CEPH rbd磁盘的读写性能|4k随机/顺序读写...

背景简介

继续上文的ceph性能调整，有兴趣的可以看看：

使用rbd bench/bench-write自带测速工具和fio对ceph image进行性能测试|测速跑分

文章目录[隐藏] 前言 集群配置 开始测试 前言 最近在折腾CEPH集群，测试环境是4台ceph物理节点，每台8~12个SATA/SAS机械硬盘，共43个OSD。性能远低于预期，目前正在调整配置中…… 正好实测了一下性能，这里分享出来大家参考。对CEPH Pool的性能测试可以看前一篇： 集群配置 4 CEPH节点：SH-1001 SH-1003 SH-1004 SH-1005 2Manager：SH-1001 SH-1005 3Monitor：SH-1004 SH-2001 SH-2003 开始测试 内网测速 root@SH-1005:~# iperf3 -s ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- Accepted connection from 10.1.0.1, port 42784 [ 5] local 10.1.0.5 port 5201 connected to 10.1.0.1 port 42786 [ ID] Interval Transfer Bitrate [ 5] 0.00-1.00 […]

使用rados自带测速工具对ceph pool进行性能测试|测速跑分

文章目录[隐藏] 前言 集群配置 开始测试 前言 最近在折腾CEPH集群，测试环境是4台ceph物理节点，每台8~12个SATA/SAS机械硬盘，共43个OSD。性能远低于预期，目前正在调整配置中…… 正好实测了一下性能，这里分享出来大家参考。简要信息通过ceph -s即可获取： 集群配置 4 CEPH节点：SH-1001 SH-1003 SH-1004 SH-1005 2Manager：SH-1001 SH-1005 3Monitor：SH-1004 SH-2001 SH-2003 开始测试 内网测速 root@SH-1005:~# iperf3 -s ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- Accepted connection from 10.1.0.1, port 42784 [ 5] local 10.1.0.5 port 5201 connected to 10.1.0.1 port 42786 [ ID] Interval Transfer Bitrate [ 5] 0.00-1.00 […]

测试环境的Ceph集群配置同前文，所以就不赘述了。将上述的Ceph pool中新建raw格式的ceph rbd，并挂载在虚拟机的/vz下，qemu cache设置为writeback

[root@hn03 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 126G 0 126G 0% /dev

tmpfs 126G 12K 126G 1% /dev/shm

tmpfs 126G 1008K 126G 1% /run

tmpfs 126G 0 126G 0% /sys/fs/cgroup

/dev/sda4 165G 5.7G 151G 4% /

tmpfs 126G 20K 126G 1% /tmp

/dev/sda2 976M 170M 739M 19% /boot

/dev/mapper/vhs_jelastic--host--3-vz 8.0T 17G 7.6T 1% /vz

/dev/ploop13141p1 9.8G 1.3G 8.0G 14% /vz/pfcache

10.1.3.2:/home/nfs/backup/hn03 33T 24T 7.3T 77% /vz/backups

/dev/ploop48143p1 241G 548M 230G 1% /vz/root/2629

tmpfs 26G 0 26G 0% /run/user/0

开始测试

4K随机写性能

[root@hn03 ~]# fio -filename=/vz/test_4kwrite -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=100M -numjobs=10 -runtime=60 -group_reporting -name=tes