GFS分布式文件系统详细介绍与实操

简介

GFS(glusterfs)，是一个开源的分布式文件系统，可以将数据存储在不同的节点服务器上，达到硬件磁盘阵列的效果，从而保证数据的高可用高

GlusterFS特点

★扩展性和高性能
★高可用
★全局统一命令空间
★弹性卷管理
★基于标准协议

GlusterFS术语

★Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
★Volume：卷
★FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
★VFS：虚拟文件系统
★Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行

卷分类

分布式卷

将数据分开放在不同的节点，并没有对文件进行分块。比如一共有100个文件，分布式卷是将这100个通过hash算法文件分开放在不同的节点上，每个文件都是完整的可以打开的

条带卷

将数据分开放在不同的节点，对每个文件进行分块，类似raid0

复制卷

对每个数据进行备份，两份数据分别放在两个节点，类似raid1

分布式条带卷

兼顾分布式和条带卷的功能，主要用于大文件访问处理，至少最少需要 4 台服务器。

分布式复制卷

兼顾分布式卷和复制卷的功能，用于需要冗余的情况下

GFS实操

五台虚拟机：一台作为客户机，另外四台作为节点，每个虚拟机新增4块磁盘
节点服务器：192.168.100.11 node1
192.168.100.12 node2
192.168.100.13 node3
192.168.100.21 node4
客户机： 192.168.100.22

配置4台节点服务器

[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# hostnamectl set-hostname node4

'//重启查看分区情况，四台节点服务器一样操作就不一一列举了'
[root@node1 ~]# fdisk -l

'//关闭所有节点防火墙跟防护功能，否则下面配置查看其他节点服务器会有问题'
[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# setenforce 0

修改hosts文件

安装gfs程序

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma rpcbind

如果glusterfs-server没有安装，则进行下面操作

vim /etc/yum.repos.d/local.repo                        修改下配置
baseurl=http://mirror.centos.org/centos/$releasever/storage/$basearch/gluster-3.12/

yum clean all
yum makecache
yum -y install glusterfs-server

systemctl start glusterd					#启动服务
systemctl status glusterd					#查看状态
systemctl enable glusterd				#开机自启动

配置节点

在任一节点上同步其它节点只需在一台节点操作后，其它节点都会同步，我们在node1上操作主机名和主机名映射一定要做，否则同步会不成功

gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

gluster peer status							#查看所有节点状态，会查看到其它3个节点

当误操作导致各个节点查看状态不一致时，可以删除节点`

gluster peer detach node3

配置分布式卷

进入任一节点

gluster volume create dis-vol node1:/data/dev/sdb node2:/data/dev/sdb force		#新建分布式卷
gluster volume info dis-vol							#查看卷dis-vol状态
gluster volume list										#查看所有卷列表
gluster volume start dis-vol							#启动卷dis-vol	

再去客户机上操作

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma			#安装程序
mkdir -p /text/dis									#创建挂载点
mount.glusterfs node1:dis-vol /text/dis/				#挂载

配置条带卷

进入任一节点

gluster volume create stripe-vol stripe 2 node1:/data/dev/sdc/ node2:/data/dev/sdc/ force
gluster volume list
gluster volume info stripe-vol
gluster volume start stripe-vol

再去客户机上操作

mkdir -p /text/stripe
mount.glusterfs node1:stripe-vol /text/stripe/

配置复制卷

进入任一节点

gluster volume create rep-vol replica 2 node3:/data/dev/sdb/ node4:/data/dev/sdb/ force
gluster volume list
gluster volume start rep-vol
gluster volume info rep-vol

再去客户机上操作

[root@promote ~]# mkdir -p /text/rep
[root@promote ~]# mount.glusterfs node2:rep-vol /text/rep/

分布式复制卷

进入任一节点

gluster volume create dis-rep replica 2 node1:/data/dev/sde/ node2:/data/dev/sde/ node3:/data/dev/sde/ node4:/data/dev/sde/ force
gluster volume list
gluster volume start dis-rep
gluster volume info dis-rep

再去客户机上操作

mkdir -p /text/dis-rep
mount.glusterfs node1:dis-rep /text/dis-rep/

分布式条带卷

进入任一节点

gluster volume create dis-stripe stripe 2 node1:/data/dev/sdd/ node2:/data/dev/sdd/ node3:/data/dev/sdd/ node4:/data/dev/sdd/ force
gluster volume list
gluster volume start dis-stripe
gluster volume info dis-stripe

再去客户机上操作

mkdir -p /text/dis-stripe
mount.glusterfs node1:dis-stripe /text/dis-stripe/

删除卷

gluster volume list	查看卷列表，找到你要删除的卷名
gluster volume stop 卷名	停止卷（需要保证各个节点都在线，才能停止）
gluster volume delete 卷名	删除卷

测试

客户端，创建测试数据

dd if=/dev/zero of=/demol1.log bs=1M count=40			
dd if=/dev/zero of=/demol2.log bs=1M count=40
dd if=/dev/zero of=/demol3.log bs=1M count=40
dd if=/dev/zero of=/demol4.log bs=1M count=40
dd if=/dev/zero of=/demol5.log bs=1M count=40

cp /demol* /text/dis
cp /demol* /text/dis-rep/
cp /demol* /text/dis-stripe/
cp /demol* /text/rep/
cp /demol* /text/stripe/

分别在各个节点服务器上查看对应磁盘上的文件以及文件大小，来验证各种卷的存储数据的方式

ll -h /data/dev/sde

关闭复制卷节点（init 0）
在客户机上测试

[root@promote /]# ls /text/
dis  dis-rep  dis-stripe  rep  stripe
[root@promote /]# ls /text/dis
demol1.log  demol4.log  demol5.log
[root@promote /]# ls /text/dis-rep/
demol1.log  demol2.log  demol3.log  demol4.log  demol5.log
[root@promote /]# ls /text/dis-stripe/
demol2.log  demol3.log
[root@promote /]# ls /text/rep/
demol1.log  demol2.log  demol3.log  demol4.log  demol5.log
[root@promote /]# ls /text/stripe/
ls: 正在读取目录/text/stripe/: 传输端点尚未连接

测试发现：做过rep复制卷的，数据是完整的，做过dis分布式的，数据丢失一部分，只做stripe条带卷的，数据全部丢失

访问控制

仅允许某个ip挂载

gluster volume set dis-vol auth.allow 192.168.100.23

仅拒绝某个ip挂载

gluster volume set dis-vol auth.reject 192.168.100.23