ceph文件系统与原生磁盘读写性能的比较

一.测试目的

   获取ceph文件系统的读写性能,并与原生磁盘进行比较

二.硬件及网络环境

   1.硬盘信息


磁盘(型号,类型,容量)CPU
客户端ST1000DM003-1CH162;SATA;1TIntel(R) Core(TM)  i3-4130  @CPU 3.40GHz
OSD节点 ST3300657SS;SAS;300GIntel(R) Xeon(R)  @CPU  2.13GHz
MON节点ST3320620AS;SATA;320GIntel(R) Pentium(R) D  @CPU 3.00GHz

2.网络环境

    服务器及客户端同处于100兆网络

三.软件环境及测试工具

   1.软件环境


操作系统
客户端Ubuntu 12.04.4 LTS
OSD节点Ubuntu 14.04 LTS
MON节点Ubuntu 14.04 LTS

   2.测试工具 Iozone3_308

四.测试用例

(一)不同线程下

   1.Ceph文件系统

   使用下面命令测试在不同线程下ceph文件系统读取6G大文件的读写性能。

  测试N线程下读取6G大文件时Ceph文件系统的读写性能。

线程数N对应的命令
1./iozone -R -t 1 -F /cephfs-test/testdata -i 0 -i 1 -s 6g
3./iozone -R -t 3 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 -i 0 -i 1 -s 6g
5./iozone -R -t 5 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 -i 0 -i 1 -s 6g
8./iozone -R -t 8 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 -i 0 -i 1 -s 6g
10 ./iozone -R -t 10 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 /cephfs-test/tmp9 /cephfs-test/tmp10 -i 0 -i 1 -s 6g

 综合上面输出的结果汇总成一张如下的表格(单位是 kBytes/sec):

线程数
write
rewrite
read
reread
1

7154.46

7186.29

11352.72

11325.62

3

6857.9

6926.8

11392.98

11405.52

5

8163.09

8177.8

11342.68

11444.18

8

8172.62

8209.53

11481.44

11472.52

10

8133.91

8197.5111389.92

11440.07

2.原生磁盘

  测试多线程下读取6G大文件原生磁盘的读写性能。

线程数目N描述
1

./iozone -R -t 1 -F /testdata -i 0 -i 1 -s 6g

3./iozone -R -t 3 -F /tmp1 /tmp2 /tmp3 -i 0 -i 1 -s 6g
5 ./iozone -R -t 5 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 -i 0 -i 1 -s 6g
8./iozone -R -t 8 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 -i 0 -i 1 -s 6g
10./iozone -R -t 10 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 /tmp9 /tmp10 -i 0 -i 1 -s 6g

总结上面的结果( 单位为 kBytes/sec):

线程数目
write
rewrite
read
reread
1
149164.94
160567.67
186078.03
163941.91
3
144475.71
133638.73
172043.45
167020.87
5
117251.25
117141.55
145746.82
143699.11
8
114206.11
128078.45
176531.57
176850.37
10
110812.11
110699.5
88225.4
111940.68

根据上面的数据,绘制出下面的折线图。

173800_lMjY_1417325.jpg

(二)不同文件大小下

1.Ceph文件系统

使用下表中对应的命令测试ceph文件系统,查看读取对应大小的文件时的读写性能。测试对应大小的文件,记录大小为4k,只测试read/reread和write/rewrite.

文件大小描述
16M

./iozone -R -s 16M -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

256M./iozone -R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata 
2G ./iozone -R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata 
4G./iozone -R -s 4G -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
6G./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

综合上面的输出结果,得出下面的表格(记录块都为4K,单位为kBytes/sec) :

文件大小
write
rewrite
read
reread
16M
287534
2650722
3884254
4284575
256M
1448445
2587190
4332678
4165372
2G
9484
9309
110929
65568
4G
8578
8698
11402
11476
6G
8473
8445
11402
11403 

2.原生磁盘

使用下表中对应的命令测试原生磁盘,查看读取对应大小的文件时的读写性能。测试下表对应大小的文件,记录块为4k,使用对应的Iozone命令测试原生磁盘的读写性能。

文件大小描述
16M

./iozone -R -s 16m -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

256M./iozone -R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata 
2G./iozone -R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata 
4G ./iozone -R -s 4G -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
6G./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

记录块都为4K,查看其读写性能。单位为kBytes/sec 。

文件大小
write
rewrite
read
reread
16M
2038802
3586647
5570732
5741068
256M
911576
3722894
5722932
5739962
2G
98047
108312
5815922
5842511
4G
88993
92779173721

185914

6G
90996
89835
174527
181623 

根据上面的数据,绘制出下面的折线图。

173830_Qb1p_1417325.jpg

五.测试结果

下面各图则是在指定条件下,使用柱形图,细至读写的不同方面对在ceph文件系统和原生磁盘的读写性能比较。

(一)不同线程

每个线程下读写6G大文件,查看在多个线程下ceph文件系统及原生磁盘之间读写性能的差异。下面各图是在同一前提下,实施的测试结果,分为4个图,分别是write、rewrite、read、reread在ceph文件系统和原生磁盘中的结果的比较。单位都是 kBytes/sec

1.write


每个线程下读写6G大文件,查看在多个线程下ceph文件系统及原生磁盘之间write性能的差异。单位为KBytes/sec。

2.rewrite


每个线程下读写6G大文件,查看在多个线程下ceph文件系统及原生磁盘之间rewrite性能的差异。单位为KBytes/sec。

3.read


每个线程下读写6G大文件,查看在多个线程下ceph文件系统及原生磁盘之间read性能的差异。单位为KBytes/sec。

4.reread


每个线程下读写6G大文件,查看在多个线程下ceph文件系统及原生磁盘之间reread性能的差异。单位为KBytes/sec。

(二)不同文件大小

读写对应大小的文件,查看ceph文件系统及原生磁盘之间读写性能的差异。下面各图是在同一前提下,实施的测试结果,分为4个图,分别是write、rewrite、read、reread在ceph文件系统和原生磁盘中的结果的比较单位为 kBytes/sec

1.write


读写对应大小的文件,查看ceph文件系统及原生磁盘之间write差异。单位为 kBytes/sec

2.rewrite


读写对应大小的文件,查看ceph文件系统及原生磁盘之间rewrite差异。单位为 kBytes/sec

3.read


读写对应大小的文件,查看ceph文件系统及原生磁盘之间read差异。单位为 kBytes/sec

4.reread


读写对应大小的文件,查看ceph文件系统及原生磁盘之间reread差异。 单位为  kBytes/sec


转载于:https://my.oschina.net/cym92/blog/270753

  • 1
    点赞
  • 0
    评论
  • 5
    收藏
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值