GlusterFS分布式外备份集群测试分析

最新推荐文章于 2023-07-07 15:17:00 发布
最新推荐文章于 2023-07-07 15:17:00 发布
阅读量1.5k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daydayup_gzm/article/details/52748917
版权
本文详细介绍了对GlusterFS分布式复制集群的测试分析，包括性能、稳定性、压力、扩展性和异常场景测试。使用IOzone工具进行性能测试，考察了不同场景下系统的表现，并提出了测试建议。
摘要由CSDN通过智能技术生成

参考社区对分布式文件系统测试方法，对比常用文件测试工具的特性，结合目前应用场景与实验环境，计划从以下几个方面进行测试，主要包括：可用性、扩展性、性能测试、压力测试、稳定性测试和异常场景。

一、性能测试

主要测试GlusterFS分布式复制集群在不同负载情况下的性能，主要对大文件、多目录、AppServer的IOPS、吞吐量进行测试。一般使用IO负载工具进行自动化测试，根据对主流文件系统测试工具的比较（见附录1），适合当前项目的工具主要有IOzone、Fio和Filebench。

选用IOzone工具，针对以下这几种常用文件操作性能进行测试：write/rewrite、read/re-read、random-read/random-write、Read-backwards、Re-write-record、stride-read和randommix。

1、IOzone自动模式测试场景

在GlusterFS客户端挂载点执行测试，将测试报告输出在当前目录的glfsTest.xls文件下，执行命令如下：

/opt/iozone/bin/iozone-Rab /home/glfsTest.xls -g 4G -i 0 -i 1 -i 2 -i 3 -i 4 -i 5 -i 8

（1）2*2节点的场景

（2）3*2节点的场景

（3）4*2节点的场景

针对以上这几种场景，对比测试结果，分析这两种场景文件操作的性能差异。

2、IOzone模拟多进程测试场景

分别模拟4/8/16/32进程操作64M/128M/256M/512M/1G/2G文件的场景，在GlusterFS客户端挂载点执行测试，将测试报告输出在当前目录的glfsTest.xls文件下

最低0.47元/天 解锁文章
dream-wing
关注
GlusterFS:异地备份（Geo-replication）源码分析
liuhong的专栏
10-27 5387
1．概述 GlusterfsGeo-replication提供了一种持续，异步，增量数据备份策略，可以通过局域网，广域网，英特网来进行。使用Geo-replication，我们能够在存储环境建立数据冗余，提供数据的灾难恢复功能。 Geo-replication使用master-slave模式： 1、Master- 代表一个卷； 2、Slave-可能是一个卷或者一个文件夹；  局域网异地迁
glusterfs源码框架分析01
qq_38918259的博客
05-28 1074
GLUSTERFS源 码 框 架 分 析01目录1 GlusterFS 之 GlusterFS 概括 1.1 glusterFS 源码目录分析1.2 glusterFS 工作时各个应用程序之间联系分析1.3 glusterFS（cli,deamon,server,client） 四方架构图1.4 架构图注释2 GlusterFS 之 damon 3 GlusterFS 之 server4 Glus...
生产环境中调整GlusterFS存储备份机制
EbowTang的练习场
03-07 814
#1.停止业务服务 /var/lib/h3class/venv/horizon/bin/horizon stop #2.备份磁盘数据 我们的volume挂载为/vms/images，直接将该目录下的数据备份到本地存储空间大的目录下即可 #3.停止并且删除卷 gluster volume stop images gluster volume delete images #4.格式化每台服务器的brick分区(/dev/sdb1)，auto实现格式化，更新fatab，自动挂载（可以xs
Glusterfs集群异地备份手册
搁浅沉默的博客
06-06 1393
GFS集群异地备份手册 针对客户要求实现GFS异地同步备份的要求，使用glusterfs-geo-replication进行异地同步，步骤如下： 同步的前提是：拥有两个集群，分别拥有各自的卷，已挂载（可通过GFS管理平台进行操作，新建集群，添加节点，新建卷，添加brick），手册以Master作为主 卷名称，Slave作为从卷名称进行演示说明。本GFS系统采用复制卷的模式进行建卷，副本数为3，所以...
GlusterFS基准测试
不吃_花椒的博客
11-08 882
一、 GlusterFS基准测试 1.1 测试环境 测试环境 操作系统 CentOS 7.2 服务器型号 PowerEdge R510 CPU Intel(R) Xeon(R) CPU X5650 @ 2.67GHz（2颗CPU，每颗6核心，12线程） RAID RAID10 磁盘 SAS-HDD 2.0TB X 4 7200rpm RAID卡 PERC H700 GlusterFS ...
分布式存储GlusterFS与分布式一致性算法Raft
xueyukun1的博客
08-20 925
GlusterFs与Raft的使用
GlusterFS分布式文件系统概念及简单的部署操作实验
NicolasNRH的博客
03-31 2138
GlusterFS分布式文件系统
glusterfs分布式文件存储搭建和使用
zchlove137的博客
12-09 4307
Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大家更多的听说和使用的是NFS，GFS，HDFS之类的，这之中的NFS应该是使用最为广泛的，简单易于管理，但是NFS以及后边会说到..
了解GlusterFS分布式文件系统的基本概念
GlusterFS分布式文件系统简介 GlusterFS是一个开源的分布式文件系统，旨在提供可扩展性和高性能的文件存储解决方案。本章将介绍GlusterFS的基本概念、应用场景以及与传统文件系统的对比。 ## 1.1 GlusterFS的定义...
gstatus:gstatus 是查看 glusterfs 集群当前健康状况的命令
05-30
状态 概述 gstatus 是一个命令行实用程序，用于报告与 GlusterFS 集群相关的运行状况和其他统计信息。 gstatus 整合了 GlusterFS 集群的卷、砖和对等信息。 在卷级别，gstatus 报告有关配额使用情况、快照、自我修复和重新平衡状态的详细信息。 动机 gluster 可信存储池（又名集群）由几个关键组件组成，即。 节点、卷和砖块。 在 glusterfs 中，没有一个命令可以提供集群健康状况的概览。 这意味着管理员目前通过查看几个命令来拼凑集群状态的图片来评估集群健康状况。 这并不理想 - 因此“gstatus”试图通过单个命令提供易于使用、可靠、高级别的集群运行状况视图。 该工具通过调用 glustercli 库 ( ) 收集信息并显示在屏幕上。 依赖关系 python 3.0 或以上 gluster 3.12 或以上版本 命令行界面 安装 使用命令
glusto-tests:glusterfs的功能测试框架
05-01
Glusto测试 glusto-tests回购包含用于测试gluster软件的自动化测试用例。 它提供了自动化gluster测试所需的库/模块。 此仓库的最新代码在review.gluster.org上进行管理 glusto测试中的库/模块/测试是使用glusto框架编写的。 我们可以使用glusto框架支持的标准PyUnit，PyTest或Nose方法编写/运行glusto测试中的TestCases。 有关glusto框架的信息，请参考 。 需要针对回购解决问题。 要自动化/运行glusto测试，我们需要安装以下软件包： 格卢斯托 glustolibs-gluster glustolibs-io glustolibs-misc gdeploy 如何安装glusto： 一个可以使用两种方法中的任何一种。 使用点 # pip install --upgrade git+git:
对比Swift和GlusterFS的读写性能
longmengqifei的专栏
11-22 2121
1，    测试目标 测试swift集群磁盘IO读/写。 2，    测试工具 Cloudfuse、Iozone、S3curl 3，    测试环境   机器类型 IP 操作系统 内存 服务器1 10.10.68.71 rhel 6.3 x86_6
GlusterFS分布式集群文件系统安装、配置及性能测试
cnbird's blog
08-17 4222
GlusterFS分布式集群文件系统安装、配置及性能测试
glusterfs代码框架分析02
qq_38918259的博客
05-28 689
2 GlusterFS 之 damon通过 ps -ef 查看进程项，可以发现 damon 启动项详细情况为： /usr/local/sbin/glusterd -p/var/run/glusterd.pid。即可执行文件名称为 glusterd。仅一个参数-p该服务启动入口处为 glusterfsd/src/glusterfsd.c 的 main 函数，该入口也是 server 和 client...
GlusterFS扩展操作及性能测试工具
RSQ博客
10-14 1345
1 GlusterFS扩展操作 1.1 节点卷同步 同一个卷所在节点的配置文件都相同（/var/lib/glusterd/vols/），丢失其中一个节点的文件还可以同步过来 # 命令格式 volume sync <HOSTNAME> [all|<VOLNAME>] # 模拟操作 [root@glusterfs-8-12 ~]# cd /var/lib/glusterd/v...
GlusterFs 分布式复制卷（Distributed-Replicate）性能测试
最新发布
不忘初心，方得始终
07-07 1420
随机读：bs低于8k时GlusterFS 每秒写入的字节数低于NFS，大于8k时每秒读取的数据远远超过NFS，但是bw低于glusterfs意。GlusterFS可以将数据进行分布式备份，保证数据的可靠性，而NFS没有这个功能，如果其中的某一台服务器出现问题，可能会导致共享文件系统无法正常访问。在吞吐量方面，GlusterFS比NFS要慢，因为GlusterFS的数据读写需要经过网络通信，而NFS的数据读写直接在本地磁盘操作，所以相对来说，NFS的吞吐量要高一些。它是通过循环执行相同的负载来实现的。
Spring Boot(六十三)：使用sfpt实现简单的文件下载及上传
u013938578的博客
03-16 1532
而SFTP协议是在FTP的基础上对数据进行加密，使得传输的数据相对来说更安全。但是这种安全是以牺牲效率为代价的，也就是说SFTP的传输效率比FTP要低(不过现实使用当中，没有发现多大差别)。之前项目遇到从文件服务器上传、下载、删除文件，一开始打算使用一些高级的文件系统，比如：FastDFS，GlusterFS，CephFS，这些高级厉害的文件存储系统，但是由于环境限制无法搭建，最终使用常用的FFTP或者SFTP实现文件上传和下载。2.SFTP更安全，但更安全带来副作用就是的效率比FTP要低些。
glusterfs 动态扩容 没那么简单
感悟聚集的博客
11-12 2363
glusterfs 号称 是不中断业务扩容，意思是在后台做扩容操作的时候不影响客户端的访问。原来一直没有细看这一块代码，最近同事在afr层修改一些代码的时候，遇到问题就是按glusterfs架构思路写的代码，把一些需要记录的信息存放在inode 的ctx里面，然而一做扩容或者其他需要改变graph 树的时候就会出问题，发现设置在inode 里面的ctx 没了，父目录也没有做lookup操作，导致原
GlusterFS驱动Docker集群：构建高效分布式存储解决方案
将GlusterFS应用于Docker集群，意味着可以轻松实现数据的分布式存储和备份，确保即使在集群节点之间发生故障时，数据的可用性和一致性也能得到保障。此外，这种架构还能有效避免单点故障，提高整体系统的容错能力和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值