GlusterFS各种卷性能测试

最新推荐文章于 2023-07-07 15:17:00 发布
最新推荐文章于 2023-07-07 15:17:00 发布
阅读量816 收藏
点赞数 1
分类专栏： 性能测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PlatoWG/article/details/107382100
版权

离散卷

1、volume信息

# gluster volume info  dis-vol 
 
Volume Name: dis-vol
Type: Disperse
Volume ID: 3ea14b87-eec0-40ab-b81a-2fb519356cde
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x (4 + 2) = 6
Transport-type: tcp
Bricks:
Brick1: master1:/k8s-glusterfs/lv1/brick1
Brick2: master2:/k8s-glusterfs/lv1/brick1
Brick3: node1:/k8s-glusterfs/lv1/brick1
Brick4: node2:/k8s-glusterfs/lv1/brick1
Brick5: node1:/k8s-glusterfs/lv2/brick2
Brick6: node2:/k8s-glusterfs/lv2/brick2
Options Reconfigured:
nfs.disable: on
transport.address-family: inet
storage.fips-mode-rchecksum: on

2、写测试

1）创建1000个文件，检查发现这1000个文件写在每一个brick中

# time for i in `seq 1 1000`;do touch file_$i;done

real	0m21.623s
user	0m0.675s
sys	0m1.681s

2）创建400M文件，每次写入4K 64K 500K 100K 

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB) copied, 41.0785 s, 10.0 MB/s

real	0m41.418s
user	0m0.255s
sys	0m6.231s

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=64k count=6400
6400+0 records in
6400+0 records out
419430400 bytes (419 MB) copied, 4.93291 s, 85.0 MB/s

real	0m4.986s
user	0m0.011s
sys	0m0.829s

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=500k count=800
800+0 records in
800+0 records out
409600000 bytes (410 MB) copied, 2.88555 s, 142 MB/s

real	0m2.980s
user	0m0.007s
sys	0m0.481s

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=1M count=400
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 2.90042 s, 145 MB/s

real	0m3.457s
user	0m0.002s
sys	0m0.727s

3、读测试

读400M文件，每次读4K 64K 500K 100K （每次执行sync && echo 3 > /proc/sys/vm/drop_caches）

# time dd if=/mnt/glusterfs/io of=/dev/null bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB) copied, 9.39263 s, 43.6 MB/s

real	0m9.478s
user	0m0.234s
sys	0m0.730s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=64k count=6400
6400+0 records in
6400+0 records out
419430400 bytes (419 MB) copied, 9.0409 s, 46.4 MB/s

real	0m9.061s
user	0m0.024s
sys	0m0.395s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=500k count=800
800+0 records in
800+0 records out
409600000 bytes (410 MB) copied, 9.43864 s, 43.4 MB/s

real	0m9.475s
user	0m0.004s
sys	0m0.352s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=1M count=400
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 9.53796 s, 44.0 MB/s

real	0m9.583s
user	0m0.002s
sys	0m0.387s

分布式复制卷

1、volume信息

# gluster volume info disrep 
 
Volume Name: disrep
Type: Distributed-Replicate
Volume ID: 5eb3ff05-7f61-4b0f-8ce8-9db9e93c56ff
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 3 = 6
Transport-type: tcp
Bricks:
Brick1: master1:/k8s-glusterfs/lv1/brick1
Brick2: master2:/k8s-glusterfs/lv1/brick1
Brick3: node1:/k8s-glusterfs/lv1/brick1
Brick4: node2:/k8s-glusterfs/lv1/brick1
Brick5: node1:/k8s-glusterfs/lv2/brick2
Brick6: node2:/k8s-glusterfs/lv2/brick2
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
performance.client-io-threads: off

2、写测试

1）创建1000个文件，1000个文件被分散存放在各个brick上

# time for i in `seq 1 1000`;do touch file_$i;done

real	0m27.869s
user	0m0.808s
sys	0m2.323s

2）创建400M文件，每次写入4K 64K 500K 100K 

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB) copied, 26.8254 s, 15.3 MB/s

real	0m26.854s
user	0m0.398s
sys	0m5.090s

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=64k count=6400
6400+0 records in
6400+0 records out
419430400 bytes (419 MB) copied, 3.79212 s, 111 MB/s

real	0m3.807s
user	0m0.210s
sys	0m0.525s

# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=500k count=800
800+0 records in
800+0 records out
409600000 bytes (410 MB) copied, 3.53517 s, 116 MB/s

real	0m3.651s
user	0m0.014s
sys	0m0.368s


# time  dd if=/dev/zero of=/mnt/glusterfs/io  bs=1M count=400
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 3.74281 s, 112 MB/s

real	0m3.845s
user	0m0.008s
sys	0m0.398s

3、读测试

读400M文件，每次读4K 64K 500K 100K （每次执行sync && echo 3 > /proc/sys/vm/drop_caches）

测试中检查发现被读取的文件io大小为2G，整个文件存在一个GlusterFS节点brick下面

# time dd if=/mnt/glusterfs/io of=/dev/null bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB) copied, 2.9424 s, 139 MB/s

real	0m2.957s
user	0m0.252s
sys	0m0.634s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=64k count=6400
6400+0 records in
6400+0 records out
419430400 bytes (419 MB) copied, 2.8611 s, 147 MB/s

real	0m2.887s
user	0m0.025s
sys	0m0.404s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=500k count=800
800+0 records in
800+0 records out
409600000 bytes (410 MB) copied, 2.72999 s, 150 MB/s

real	0m2.753s
user	0m0.000s
sys	0m0.345s

# time dd if=/mnt/glusterfs/io of=/dev/null bs=1M count=400
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 2.81897 s, 149 MB/s

real	0m2.847s
user	0m0.000s
sys	0m0.361s

把一个10G的大文件切割成1G的小文件放在GlusterFS各个brick后，测试读性能

# du -sh  /mnt/glusterfs/*
1.0G	/mnt/glusterfs/xaa
1.0G	/mnt/glusterfs/xab
1.0G	/mnt/glusterfs/xac
1.0G	/mnt/glusterfs/xad
1.0G	/mnt/glusterfs/xae
1.0G	/mnt/glusterfs/xaf
1.0G	/mnt/glusterfs/xag
1.0G	/mnt/glusterfs/xah
1.0G	/mnt/glusterfs/xai
784M	/mnt/glusterfs/xaj

# time cat * > /dev/null 

real	2m4.696s
user	0m0.174s
sys	0m8.356s

 

 

 

 

PlatoWG
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多节点gluster_NFS安装配置性能对比
03-22
NULL 博文链接：https://guliang123.iteye.com/blog/901704
ssd测试软件4k 64线程是什么意思,4K随机/缓存等性能测试_固态硬盘评测-中关村在线...
热门推荐
weixin_39896839的博客
07-23 1万+
衡量固态硬盘另一个因素就是4K文件的随机读写能力，这里通过ASSSD进行详细测试。4K随机性能：随机读取57217iopsASSSDBenchmark是一个专门为SSD测试而设计的标准检测程序，它涵盖了持续性读写、单线程4KB随机读写、64线程4KB随机读写以及磁盘寻道时间等关键数据的测试，最后还会根据公式将成绩标准化，能比较科学的反映固态硬盘的真实性能。除此之外，在性能描述上有两种描述单...
读懂 SSD – 什么是顺序读写、随机读写、4K读写、IOPS值？
m0_46650312的博客
12-07 5327
硬盘
磁盘性能二三事之—4k对齐
weixin_34390105的博客
08-13 892
我们先来回顾一下机械硬盘的结构。 机械硬盘主要由盘片（platter）、磁头（head）和相应的控制电路等部分所组成。盘片表面镀有磁性物质，二进制位被存储在这些磁性材料上。硬盘工作时，盘片围绕着一根中心主轴（spindle）旋转，磁头在电路控制下移动到指定位置然后将数据存储或读取出来。 盘片有两个面，都可以储存数据，因此每个磁盘片对应两个读写磁头。如果有...
SSD固态硬盘 4K对齐
whatday的专栏
03-05 6012
揭秘4K对齐 和机械硬盘不同，固态硬盘（SSD）不能直接在一个已有数据的存储区内覆盖写入，而是先将原位置的数据擦除，再写入新数据。 因此它的日常流程，其实就是“读”→“擦”→“写”。在固态硬盘中，最小的读写单位被称为“页”、最小的擦除单位被称为“块”，通常一个页的尺寸就是——4K。 由于分区偏移尺寸一直是从63扇区开始（63x512B=31.5KB），这就会导致用户第一个数据的前4KB存放在...
机械硬盘4k读写速度_颠覆！SSD与机械硬盘不仅仅是速度的差别
weixin_39552317的博客
11-10 1523
大家都知道，买笔记本一定要选有固态硬盘(SSD)的机型，那么固态硬盘到底和机械硬盘有啥区别，固态硬盘的哪些优势让大家趋之若鹜呢？本文重点从形态、特性、性能和价格四个方面为大家简单介绍固态硬盘与机械硬盘的区别。SSD与HDD的区别一般情况下，固态硬盘的英文缩写为SSD，机械硬盘的英文缩写为HDD，下文主要以英文缩写为主。· SSD与HDD的形态一般情况下，硬盘的形态都是通过接口区分的。常见的HDD形...
SSD性能优化之4K对齐
存储随笔
07-18 6099
【引语】你是否听人说 SSD 买来一定要先对齐，不然平时用起来会很顿。究竟是真有这种说法还是人云亦云呢？请往下看，相信聪明的你会自有判断。 【4K对齐是什么？】那么究竟什么是叫做“4K对齐”呢? 4K对齐相关联的是一个叫做“高级格式化”的分区技术。“高级格式化”是国际硬盘设备与材料协会为新型数据结构格式所采用的名称。 随着时代发展，硬盘容量不断扩展，使得之前定义的每个扇区512字节不再是那么
GlusterFs 分布式复制卷（Distributed-Replicate）性能测试
不忘初心，方得始终
07-07 1213
随机读：bs低于8k时GlusterFS 每秒写入的字节数低于NFS，大于8k时每秒读取的数据远远超过NFS，但是bw低于glusterfs意。GlusterFS可以将数据进行分布式备份，保证数据的可靠性，而NFS没有这个功能，如果其中的某一台服务器出现问题，可能会导致共享文件系统无法正常访问。在吞吐量方面，GlusterFS比NFS要慢，因为GlusterFS的数据读写需要经过网络通信，而NFS的数据读写直接在本地磁盘操作，所以相对来说，NFS的吞吐量要高一些。它是通过循环执行相同的负载来实现的。
GlusterFS测试
翟海飞
03-31 4276
测试工具 iozone fio iozone
GlusterFS分布式集群文件系统安装、配置及性能测试
cnbird's blog
08-17 4212
GlusterFS分布式集群文件系统安装、配置及性能测试
GlusterFS与Ceph 性能测试报告
09-17
GlusterFS与Ceph是不一样的存贮系统，GlusterFS更加针对分布式文件系统，虽然目前开发者也正在努力增加块与对象存贮服务。 由于两者在设计理念等各个方面有所不同，单纯的测试比较从功能应用的角度来说意义不大（如人们需要块及对象存贮时，目前GlusterFS只能部分提供或没有，块存贮也只能用于非生产环境，对象存贮还没有），但很多人使用时均会考虑将此两者文件服务作为其中一个重要应用，而同时，市场上流传着各类关于GlusterFS与Ceph对比的各类性能数据，实际情况倒底如可，我们不得而知，但我确实想知道真实的情况如何，或者大概的也行
GlusterFS测试小结
08-23
Gluster测试小结 硬件配置 服务器端： 3个笔记本，坏一台 2个台式机 客户端： Dell2950 千兆交换机一台 基本的网络结构如图 Gluster的安装 服务器端的安装  建立好共享目录，并改变权限，可以是777  安装gluster。Configure/make/make install  在/usr/local/etc/glusterfs/下添加服务器端配置文件  用glusterfsd –f /usr/local/etc/glusterfs/glusterfsd.vol来启动服务 客户端的安装  建立好挂载目录  安装gluster。Configure/make/make install  在/usr/local/etc/glusterfs/下添加客户端配置文件  用glusterfsd -l /g.log –f /usr/local/etc/glusterfs/glusterfs.vol /mnt Log文件 配置文件 挂载目录
glusterfs多节点读写性能测试.pdf
09-28
glusterfs多节点读写性能测试.pdf
glusterfs-多节点读写性能测试.pdf
最新发布
09-28
glusterfs-多节点读写性能测试.pdf
glusterfs-多节点读写性能测试.doc
10-01
glusterfs-多节点读写性能测试.doc
glusterfs_多节点读写性能测试.doc
09-28
glusterfs_多节点读写性能测试.doc
glusterfs文件系统性能测试
li_jiejun的专栏
06-21 6848
不同挂载模式在不同块大小之间六种读写方式的速率测试   概要 挂载模式:Nfs Gluster Fuse Local(本地) BS:4k 16k 64k 256k 1M 4M 读写方式:randread read randwrite write randrw readwrite 测试计划: 每次测试10分钟,一组要6个小时,共四组 比较它们之间的差别和性能差异 测试环境:
Glusterfs读写性能测试与分析
weixin_30546189的博客
07-05 463
一、测试目的： 1、测试分布卷（Distributed）、分布式复制卷（Distributed-Replicate）、条带卷（Strip）和分布式条带复制卷（Distributed-Strip-Replicate）的读写性能。 2、测试网络对文件系统读写性能的影响。 一、测试准备： 1、三台千兆网测试机：dn151,dn152,dn154。每台测试机上有七块1T硬盘，dn151等是测试机的...
GlusterFS和NFS读写性能对比
PlatoWG的博客
07-15 6622
配置： 1、两台一样配置的虚拟机，且在同一虚拟化平台上。 2、GlusterFS是单brick的volume，nfs server直接由其中一台虚拟机提供 测试： 通过dd命令测试写10G的数据，统计消耗时间 GlusterFS # mount -t glusterfs master1:/k8s-pv2 /mnt # time dd if=/dev/zero of=/mnt/io bs=1M count=10000 10000+0 records in 10000+0 records out
GlusterFS迁移卷
05-19
GlusterFS是一个分布式文件系统，可以将多个存储节点组合成一个集群，提供高可用性和可扩展性。如果需要迁移卷，可以按照以下步骤进行操作： 1. 确认新节点已经加入到 GlusterFS 集群中。 2. 在新节点上创建一个目录，用于挂载 GlusterFS 卷。 3. 在旧节点上卸载 GlusterFS 卷，使用以下命令： ``` umount /mnt/glusterfs ``` 4. 在新节点上挂载 GlusterFS 卷，使用以下命令： ``` mount -t glusterfs oldnode:/volname /mnt/glusterfs ``` 其中，oldnode 是旧节点的 IP 地址，volname 是要迁移的 GlusterFS 卷名称。 5. 确认新节点上的卷已经挂载成功，可以通过以下命令查看： ``` df -h ``` 如果看到 /mnt/glusterfs 目录下的文件系统，说明卷已经成功迁移。 6. 在新节点上设置卷的挂载选项，例如在 /etc/fstab 中添加以下行： ``` oldnode:/volname /mnt/glusterfs glusterfs defaults,_netdev 0 0 ``` 这样可以确保在系统启动时自动挂载 GlusterFS 卷。 7. 确认新节点上的卷可以正常访问和使用。 注意：在迁移卷之前，建议备份数据以避免数据丢失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值