GlusterFS集群

最新推荐文章于 2024-05-16 10:52:29 发布
最新推荐文章于 2024-05-16 10:52:29 发布
阅读量286 收藏
点赞数 1
文章标签： linux gfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52163152/article/details/109581341
版权

1. GlusterFS概述
1）Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中Glusterfs能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储.

2）Glusterfs通过TCP/IP或InfiniBand RDMA网络链接将客户端的存储资块源聚集在一起,使用单一的全局命名空间来管理数据,磁盘和内存资源.

3）Glusterfs基于堆叠的用户空间设计,可以为不同的工作负载提供高优的性能.

4）Glusterfs支持运行在任何标准IP网络上标准应用程序的标准客户端，如下图1所示，用户可以在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据.

2.Glusterfs主要特征
扩展性和高性能
高可用
全局统一命名空间
弹性hash算法
弹性卷管理
基于标准协议

3.工作原理：

  1. 首先是在客户端， 用户通过glusterfs的mount point 来读写数据， 对于用户来说，集群系统的存在对用户是完全透明的，用户感觉不到是操作本地系统还是远端的集群系统。
  2. 用户的这个操作被递交给 本地linux系统的VFS来处理。
  3. VFS 将数据递交给FUSE 内核文件系统:在启动 glusterfs 客户端以前，需要想系统注册一个实际的文件系统FUSE,如上图所示，该文件系统与ext3在同一个层次上面， ext3 是对实际的磁盘进行处理， 而fuse 文件系统则是将数据通过/dev/fuse 这个设备文件递交给了glusterfs client端。所以， 我们可以将 fuse文件系统理解为一个代理。
  4. 数据被fuse 递交给Glusterfs client 后， client 对数据进行一些指定的处理（所谓的指定，是按照client 配置文件据来进行的一系列处理， 我们在启动glusterfs client 时需要指定这个文件。
  5. 在glusterfs client的处理末端，通过网络将数据递交给 Glusterfs Server，并且将数据写入到服务器所控制的存储设备上。

4.常用卷类型

分布（distributed）

复制（replicate）

条带（striped）

基本卷：

(1) distribute volume：分布式卷

(2) stripe volume：条带卷

(3) replica volume：复制卷

复合卷：

(4) distribute stripe volume：分布式条带卷

(5) distribute replica volume：分布式复制卷

(6) stripe replica volume：条带复制卷

(7) distribute stripe replicavolume：分布式条带复制卷

glusterFs群集部署

一、实验环境
1.节点服务器

为了可以更好地看到结果，把硬盘内存设少
1.1 linux-1 node1 192.168.10.1
添加4块磁盘
挂载磁盘 挂载目录

 /dev/sdb(3G)		/b3
/dev/sdc(4G)		/c4
/dev/sdd(5G)		/d5
/dev/sde(6G)		/e6

1.2 linux-2 node2 192.168.10.2
添加4块磁盘
挂载磁盘 挂载目录

 /dev/sdb(3G)		/b3
/dev/sdc(4G)		/c4
/dev/sdd(5G)		/d5
/dev/sde(6G)		/e6

1.3 linux-3 node3 192.168.10.3
添加3块磁盘
挂载磁盘 挂载目录

 /dev/sdb(3G)		/b3
/dev/sdc(4G)		/c4
/dev/sdd(5G)		/d5

1.4 linux-4 node4 192.168.10.4
添加3块磁盘
挂载磁盘 挂载目录

 /dev/sdb(3G)		/b3
/dev/sdc(4G)		/c4
/dev/sdd(5G)		/d5

2.客户端
linux-5 client 192.168.10.5

二、实验目的

创建glusterFs各种卷并测试

卷名称		卷类型		空间大小GB 	brick分布情况


dis-volume   分布式卷	12			node1（/e6),node2(/e6)

stripe-volume 条带卷	10			node1(/d5),node2(/d5)

rep-volume	复制卷		5			node3(/d5),node4(/d5)

dis-stripe 分布式条带卷	12 			node1(/b3),node2(/b3),node3(/b3),node4(/b3),

dis-rep		分布式复制卷 8			node1(/c4),node2(/c4),node3(/c4),node4(/c4)

三、实验步骤

  1. 准备环境（node1—node4)
    1.1 使用fdisk分区
 1. [root@localhost ~]# fdisk -l
 2. [root@localhost ~]# fdisk /dev/sdb

n----p----回车默认-----回车默认-----回车默认----p----w
按照同样方法处理其他磁盘

[root@localhost ~]# fdisk /dev/sdc
[root@localhost ~]# fdisk /dev/sdd
[root@localhost ~]# fdisk /dev/sde

格式化磁盘


 1. [root@localhost ~]# mkfs -t ext4 /dev/sdb1  
 2.  [root@localhost ~]#mkfs -t ext4 /dev/sdc1   
 3. [root@localhost ~]# mkfs -t ext4 /dev/sdd1 
 4. [root@localhost ~]# mkfs -t ext4 /dev/sde1

创建挂载点并挂载


 1. [root@localhost ~]# mkdir /b3 /c4 /d5 /e6 
 2. [root@localhost ~]# mount /dev/sdb1 /b3 
 3. [root@localhost ~]# mount /dev/sdc1 /c4
 4. [root@localhost ~]# mount /dev/sdd1 /d5 
 5. [root@localhost ~]# mount /dev/sde1 /e6

创建自动挂载

[root@localhost ~]# vim /etc/fstab

#
# /etc/fstab
# Created by anaconda on Sat Sep  1 18:48:17 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=25ecea8a-6b8e-41fd-b304-ec54d2f15210 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

/dev/cdrom      /media/cdrom    iso9660  defaults 0 0

/dev/sdb1       /b3             ext4    defaults 1 2
/dev/sdc1       /c4             ext4    defaults 1 2
/dev/sdd1       /d5             ext4    defaults 1 2
/dev/sde1       /e6             ext4    defaults 1 2

[root@localhost ~]# df -hT

1.2 （node1-node4) 配置hosts文件，使节点服务器能够互相解析访问。修改主机名为自己的主机名

[root@localhost ~]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


192.168.10.1 node1
192.168.10.2 node2
192.168.10.3 node3
192.168.10.4 node4

[root@localhost ~]# hostname node1
[root@localhost ~]# bash
[root@node1 ~]#

2. （node1–node4)安装软件–yum方式（需要配置本地其他目录的yum仓库）

1 [root@node1 ~]# yum -y install createrepo

2 [root@localhost ~]# which createrepo

3 [root@localhost ~]# mkdir /other

上传gfsrepo文件夹相关软件到此目录

[root@localhost other]# ll /other

[root@localhost other]# vim /etc/yum.repos.d/local.repo


#[local]
#name=centos7.4
#baseurl=file:///media/cdrom
#enabled=1
#gpgcheck=0


[other]
name=glusterfs
baseurl=file:///other
enabled=1
gpgcheck=0

创建软件数据库目录

1 [root@localhost other]# createrepo /other

2 [root@localhost ~]# yum makecache

安装客户端软件

[root@localhost ~]# yum -y install glusterfs glusterfs-fuse

7.2 创建挂载目录

[root@localhost ~]# mkdir -p /test/{dis,stripe,rep,dis_and_stripe,dis_and_rep}
[root@localhost ~]# ls /test
dis  dis_and_rep  dis_and_stripe  rep  stripe

7.3 修改hosts文件

[root@localhost ~]# vim /etc/hosts


192.168.10.1 node1
192.168.10.2 node2
192.168.10.3 node3
192.168.10.4 node4

[root@localhost ~]# ping node1 -c 3

7.4 挂载glusterfs文件系统

1 [root@localhost ~]# 
2 [root@localhost ~]# mount -t glusterfs node1:dis-volume /test/dis
3 [root@localhost ~]# mount -t glusterfs node1:stripe-volume /test/stripe
4 [root@localhost ~]# mount -t glusterfs node1:rep-volume /test/rep
5 [root@localhost ~]# mount -t glusterfs node1:dis-stripe  /test/dis_and_stripe
6 [root@localhost ~]# mount -t glusterfs node1:dis-rep  /test/dis_and_rep

在这里插入图片描述
7.5 设置为自动挂载

[root@localhost ~]# vim /etc/fstab
###末尾添加

node1:dis-volume        /test/dis       glusterfs defaults,_netdev 0 0
node1:stripe-volume     /test/stripe    glusterfs defaults,_netdev 0 0
node1:rep-volume        /test/rep       glusterfs defaults,_netdev 0 0
node1:dis-stripe        /test/dis_and_stripe    glusterfs defaults,_netdev 0 0
node1:dis-rep           /test/dis_and_rep       glusterfs defaults,_netdev 0 0

8.测试glusterfs文件系统

8.1 client 192.168.10.5
卷中写入文件

[root@localhost ~]# du -sh /var/log/messages 
684K	/var/log/messages

1 [root@localhost ~]# cp /var/log/messages test1.log
2 [root@localhost ~]# cp /var/log/messages test2.log
3 [root@localhost ~]# cp /var/log/messages test3.log
4 [root@localhost ~]# cp /var/log/messages test4.log
5 [root@localhost ~]# cp /var/log/messages test5.log
6 [root@localhost ~]# chmod 644 test*
7 [root@localhost ~]# ll -h test*
-rw-r--r-- 1 root root 684K 10月 14 13:11 test1.log
-rw-r--r-- 1 root root 684K 10月 14 13:11 test2.log
-rw-r--r-- 1 root root 684K 10月 14 13:11 test3.log
-rw-r--r-- 1 root root 684K 10月 14 13:11 test4.log
-rw-r--r-- 1 root root 684K 10月 14 13:11 test5.log
8 [root@localhost ~]# cp test* /test/dis/
9 [root@localhost ~]# cp test* /test/stripe/
10 [root@localhost ~]# cp test* /test/rep/
11 [root@localhost ~]# cp test* /test/dis_and_stripe/
12 [root@localhost ~]# cp test* /test/dis_and_rep/

8.2 查看文件分布
1）查看分布式卷 —没有分片，还是原始大小
node1 192.168.10.1
在这里插入图片描述
node2 192.168.10.2
在这里插入图片描述
2）查看条带卷分布—大小被分片

node1，node2
在这里插入图片描述
在这里插入图片描述
3）查看复制卷分布----没有分片，原始大小
node3:/d5 ,node4:/d5
在这里插入图片描述
在这里插入图片描述
4）查看分布式条带卷 —大小被分片，同时又2份
node1–node4:/b3
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5）查看分布式复制卷文件分布—没有分片，原始大小。复制为2份
node1–node4:/c4
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

m0_张云朋
关注
CentOS搭建GlusterFS集群
InjeProgram的博客
09-21 115
通过按照以上步骤，你可以轻松地创建一个可扩展的分布式文件系统，并在多个服务器之间共享文件。GlusterFS是一个可扩展的分布式文件系统，它可以在多个服务器上创建一个统一的文件系统。其中，是创建卷的节点的名称或IP地址，/test-volume是卷的名称，/mnt/glusterfs是要挂载的目录。你可以在任何一个节点上对/mnt/glusterfs目录进行读写操作，这些操作将会在整个集群中同步。其中，和是其他节点的名称或IP地址，/data是要共享的目录。选择一个节点作为GlusterFS卷的创建节点。
【GlusterFS系列-4】查看GlusterFS集群读写性能
lynne_cat的博客
10-15 1190
一、目的 查看GlusterFS集群读写性能。 二、环境 5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。 192.168.10.145 master145 192.168.10.148 slave148 192.168.10.149 slave149 192.168.10.158 client158 192.168.10.159...
GlusterFS分布式文件系统群集
weixin_50945964的博客
12-08 217
简介 在企业中，一些重要的数据一般存储在硬盘上，虽然硬盘本身的性能也在不断提高，但是无论硬盘的存取速度有多快，企业所追寻的首先是可靠性，然后才是效率。如果数据面临丢失的风险.再好的硬件也无法挽回企业的损失。加之近几年云计算的出现，对存储提出了更高的要求。而分布式存储逐渐被人们所接受，它具有更好的性能、高扩展性以及可靠性。大部分分布式解决方案都是通过元服务器存放目录结构等元数据，元数据服务器提供了整个分布式存储的索引工作。但是一旦元数据服务器损坏，整个分布式存储业将无法工作。本章介绍一款无元服务器的分布式存储
Debian6 搭建GlusterFS集群-Distributed Volumes
weixin_34025051的博客
07-30 171
为什么80%的码农都做不了架构师？>>> ...
部署 GlusterFS 群集
wys_jj的博客
04-09 328
1.7.测试 Gluster 文件系统。
分布式存储——glusterfs集群
一只菜鸡的专栏
11-29 747
1.存储分类 NAS SAN DAS 基于IP网络 基于光纤通道 基于IP网络 传输文件 传输块 传输文件 提供带宽低 提供带宽高 提供带宽低 具有多种网络功能 无网络功能 网络视服务器状况 系统应用于存储分开 系统应用于存储分开 系统存储在一起 NAS自带共享功能 安装共享软件后可共享 ...
GlusterFS集群文件系统研究
03-04
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的...
tutum-glusterfs:使用Tutum和Docker自动部署GlusterFs集群
05-07
该docker映像使您可以通过Tutum.co创建glusterfs集群。 约束： 为了使GlusterF正常工作，我们基于一些假设来进行配置： Glusterfs必须在tutum上的特定集群上运行 集群的每个节点仅需托管一个glusterfs容器 ...
GlusterFS群集部署-非常详细
最新发布
weixin_73059729的博客
05-16 1113
正常情况下每个节点的输出结果均为“State:Peer in Cluster(cinnected)”。如果显示Disconnected，请检查hosts文件配置。比如如下所提到的查看GlusterFS的命令，停止、删除卷及文件系统访问控制等等。以上基础操作包括磁盘划分、磁盘挂载根据资源列表做好准备之后即可进行如下操作了。采用YUM源安装所需软件（写入测试，破坏性测试等。所有node节点操作。
Keepalived+GlusterFS多机热备集群方案
07-08
通过keepalived，实现多台GlusterFS高可用的存储配置方案。2个节点的GlusterFS无法避免脑裂问题，多台GlusterFS如何提供统一的挂载服务，通过该技术方案，完美的实现了VIP方式的高可用的GlusterFS存储方案。
kubernetes动态存储之glusterfs集群（heketi）
taonihou_的博客
08-05 945
kubernetes存储类资源的详细实现过程
glusterFS分布式文件系统群集
BBQwu1wukao的博客
06-07 185
glusterFS分布式文件系统群集一、GlusterFS1、GlusterFS的作用和特点2、glusterfs术语3、glusterfs分布式卷类型二、管理磁盘分区1、检查和分区2、创建分区3、设置开机自动挂载三、GlusterFS1、配置Glusterfs群集2、创建分布式卷4、创建复制卷5、分布式条带卷6、分布式复制卷7、客户端挂载访问控制8、卷管理通用命令 一、GlusterFS 1、GlusterFS的作用和特点 1）GlusterFS的作用 分布式文件存储系统 数据存储支持最大到PB级
glusterFS 集群安装
从现在起
08-16 1197
ubuntu 安装 glusterFS 环境： 3个节点，1个做clinet端，2个做server端。 两个server端配置： 1.执行 sudo apt-get install software-properties-common 2.执行 sudo add-apt-repository ppa:gluster/glusterfs-3.8 3.执行 sudo apt
glusterfs升级集群
吴业亮的专栏
08-07 851
作者：吴业亮 博客：http://blog.csdn.net/wylfengyujiancheng 一、服务端升级 1、停止自愈 gluster volume set test-lv cluster.entry-self-heal off 2、停止服务 service glusterd stop service glusterfsd stop 3、配置升级的yum源 yum install -...
glusterfs集群模式详解
qq_40954652的博客
02-28 582
glusterfs集群几种卷模式 分布卷 分布卷也称为哈希卷，多个文件在多个 brick 上使用哈希算法随机存储。 应用场景: 大量小文件 优点： 读/写性能好 缺点： 如果存储或服务器故障，数据将丢失 不指定卷类型，默认是分布卷 brick 数量没有限制 补充说明：因为文件实际上只存在一台数据机上，所以若出现故障则文件直接丢失，读写会根据哈希算法在不同的的brick上去读写数据，效率较高 条带卷（类似RAID0） 将文件分成条带，存放在多个 brick上，默认条带大小12
案例部署——GlusterFS分布式文件系统群集
大虾好吃吗
08-12 944
本次将介绍一款无元服务器的分布式存储解决方案——GlusterFS。
GlusterFS 集群安装及使用 实战篇
BIGmustang的博客
09-14 2527
文章目录一、GlusterFS、MFS、Ceph的比较二、GFS集群安装部署1.准备环境2. 设置hosts3.对硬盘进行自动分区挂载4. 安装软件 glusterfs （所有设备都要安装）4.1 同步时钟5.添加节点（在任意一台节点上操作）5.1查看所有节点（在任意节点都可查看）5.2创造分布式卷5.3 查看5.4 启动5.5 停止5.6 删除， 查看列表三 . 创建卷组，并挂载查看其存储分布情况3.1 创建分布式卷3.1.1 挂载卷3.1.2 向卷组中写入数据，查看存储分布情况3.2 创建复制卷3.2.
Glusterfs集群笔记二
那些年匆匆
12-26 1537
1.常用命令 针对节点的命令 gluster peer probe #增加一个节点，参数为主机名或IP gluster peer detach #删除指定的节点，后跟主机名或IP gluster peer status #列出切点的状态 gluster peer help #关于gluster peer命令的帮助信息 针对卷的命令 volume info [all|] #列出所有
添加节点到glusterfs集群
06-11
要添加节点到 GlusterFS 集群，需要遵循以下步骤： 1. 在要添加到集群的每个节点上安装 GlusterFS 软件包。 2. 在集群中的任意一个节点上创建一个新的卷（volume）。 3. 将该卷挂载到该节点上的某个目录。 4. 在新节点上运行 gluster peer probe 命令，将其添加到集群中。 5. 将新节点上的目录添加到卷中。 6. 重复步骤 4-5 直到所有节点都被添加到集群中。 7. 在每个节点上运行 gluster volume start 命令，启动卷。 请注意，添加节点到 GlusterFS 集群需要在所有节点上进行，因此应该谨慎执行，并确保您有足够的资源来支持新节点的加入。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值