了解GFS分布式文件系统

#了解GFS分布式文件系统

##一、GlusterFS简介

1.概述

• 开源的分布式文件系统
• 由存储服务器、客户端以及NFS/Samba 存储网关组成
• 无元数据服务器

2. 文件系统

2.1文件系统组成

• 文件系统接口
• 对对像管理的软件集合
• 对象及属性

2.2文件系统的作用
从系统角度来看，文件系统是对文件存储设备的空间进行组织和备份
负责文件存储并对存入的文件进行保护和检索的系统
具体地说，它负责为用户建立文件、存入、读出、修改、转储文件、控制文件的存储

3.GlusterFS特点
扩展性和高性能
高可用性
全局统一命名空间
弹性卷管理
基于标准协议

4.GlusterFS专业术语
Brick（块存储服务器）实际存储用户数据的服务器

Volume本地文件系统的"分区"

FUSE用户空间的文件系统（类别EXT4），”这是一个伪文件系统“，用户端的交换模块

VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS 然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远端的存储

Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成

##二、GlusterFS构成
（一）模块化堆栈式架构
模块化、堆栈式的架构
通过对模块的组合，实现复杂的功能
1、API：应用程序编程接口
2、模块化：每个模块可以提供不同的功能
3、堆栈式：同时启用多个模块，多个功能可以组合，实现复杂的功能

1）I/O cache：I/O缓存

2)read ahead：内核文件预读

3)distribute/stripe：分布式、条带化

4)Gige：千兆网/千兆接口

5)TCP/IP：网络协议

6)InfiniBand：网络协议，与TCP/IP相比，TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的、流控制的机制来保证连接完整性

7)RDMA：负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟

（二)GFS工作原理

[外链图片转存中…(img-DEpen1G6-1661700055584)]

1）外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据

2）linux系统内容通过VFSAPI收到请求并处理

3）VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端

4）GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理

5）再通过网络，将数据发送给远端的ClusterFS server，并将数据写入到服务器储存设备上

6）server再将数据转交给VFS伪文件系统，再由VFS进行转存处理，最后交给EXT3/EXT4等的文件系统

三、GFS支持的七种卷

1.分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件级RAID 0

2.条带卷（默认）：类似RAID 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高

3.复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降

4.分布式条带卷（Distribute Stripe volume）：Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼具分布式卷和条带的特点

5.分布式复制卷（Distribute Replica volume）：Brick Server数量是镜像数（数据副本 数量）的倍数，兼具分布式卷和复制卷的特点

6.条带复制卷（Stripe Replca volume）：类似RAID 10，同时具有条带卷和复制卷的特点

7.分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类Map Reduce

三大基本卷的特点
1.分布式卷

文件分布在不同的服务器，不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护
2.条带卷

数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余
3.复制卷

卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少由两个块服务器或更多服务器
具备冗余性

##四、部署GFS集群
节点名称 ip地址磁盘 挂载点
Node1节点 192.168.190.11 /dev/sdb1 /data/sdb1 /dev/sdc1 /date/sdc1 /dev/sdd1 /date/sdd1 /dev/sde1 /date/sde1
node2 192.168.190.12 /dev/sd[b-e]1 /date/sd[d-e]1
node3 192.168.190.13 /dev/sd[b-e]1 /date/sd[d-e]1
node3 192.168.190.14 /dev/sd[b-e]1 /date/sd[d-e]1

1.装备实验环境
1.关闭防火墙，修改主机名
systemctl stop firewalld
setenforce 0
hostname node1 #四个服务器都要修改
su -

2.磁盘分区，并进行挂载，所有节点虚拟机添加4块磁盘
vim /opt/fdisk.sh

#!/bin/bash

NEWDEV=ls /dev/sd* | grep -o 'sd[b-z]' | uniq
for VAR in KaTeX parse error: Undefined control sequence: \np at position 24: …o echo -e "n\̲n̲p̲\n\n\n\nw\n" | …VAR &> /dev/null
mkfs.xfs /dev/KaTeX parse error: Expected 'EOF', got '&' at position 10: {VAR}"1" &̲> /dev/null …{VAR}“1” &> /dev/null
echo “/dev/$VAR"1"/data/${VAR}“1” xfs defaults 0 0” >> /etc/fstab
done
mount -a &> /dev/null

cd /opt
chmod +x fdisk.sh
./fdisk.sh

3.配置各个节点的/etc/hosts文件（所有节点操作）在同一个局域网中建议写在/etc/hosts
echo “192.168.190.11 node1” >> /etc/hosts
echo “192.168.190.12 node2” >> /etc/hosts
echo “192.168.190.13 node3” >> /etc/hosts
echo “192.168.190.14 node4” >> /etc/hosts

4.将安装包放入/opt目录

安装、启动GFS（所有节点操作）

unzip gfsrepo.zip #opt目录下解压
cd /etc/yum.repos.d/
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma #安装环境

systemctl start glusterd.service #开启服务
systemctl enable glusterd.service
systemctl status glusterd.service

5.ntp时间同步
echo “nameserver 114.114.114.114” >> /etc/resolv.conf #做dns
ntpdate ntp1.aliyun.com #同步aliyun时间同步服务器

2.集群实验部署操做
1）添加节点到存储信任池中（在任意一个node中操作）
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

//在每个node节点上查看群集状态（每个节点查看是否有3个）
gluster peer status

2）根据以下规划创建卷
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

//创建分布式卷，没有指定类型，默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
gluster volume list
gluster volume start dis-volume
gluster volume info dis-volume

//指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume

//指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume

//创建分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe

//创建分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep

2.1）创建完成后查询显示的内容
[root@node1 ~]#gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 ~]#gluster volume list
dis-volume
[root@node1 ~]#gluster volume start dis-volume
volume start: dis-volume: success
[root@node1 ~]#gluster volume info dis-volume
Volume Name: dis-volume
Type: Distribute
Volume ID: 2d364231-4eee-4315-8360-9fac18778fff
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]#gluster volume info stripe-volume
Volume Name: stripe-volume
Type: Stripe
Volume ID: 1f9cfdd3-497b-43a6-8f26-d6fd683e4fdf
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]#gluster volume info rep-volume
Volume Name: rep-volume
Type: Replicate
Volume ID: 37fb18bf-9790-49f8-8775-e24eb267c687
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]#gluster volume info dis-stripe
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: e098500a-3384-410b-8a24-1266a97dacee
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]#gluster volume info dis-rep
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: f3122c42-5059-49f3-ac6f-b35dcb874029
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

五、部署客户端

192.168.190.15

cd /opt
unzip gfsrepo.zip

cd /etc/yum.repos.d/
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-fuse

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

echo “192.168.190.11 node1” >> /etc/hosts
echo “192.168.190.12 node2” >> /etc/hosts
echo “192.168.190.13 node3” >> /etc/hosts
echo “192.168.190.14 node4” >> /etc/hosts

mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

df -h

##六、正常测试
1.客户端写入数据
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/

2.查看文件分布
1、查看分布式文件分布
node1：ll -h /data/sdb1
node2：ll -h /data/sdb1
2、查看条带卷文件分布
node1：ll -h /data/sdc1
node2：ll -h /data/sdc1
3、查看复制卷文件分布
node3：ll -h /data/sdb1
node4：ll -h /data/sdb1
4、查看分布式条带卷分布
node1：ll -h /data/sdd1
node2：ll -h /data/sdd1
node3：ll -h /data/sdd1
node4：ll -h /data/sdd1
5、查看分布式复制卷分布
node1：ll -h /data/sde1
node2：ll -h /data/sde1
node3：ll -h /data/sde1
node4：ll -h /data/sde1

##七.查看文件分布
1.查看分布式文件分布（node1:/dev/sdb1、node2:/dev/sdb1）
[root@node1 ~]#ll -h /data/sdb1
总用量 160M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo4.log

[root@node2 ~]#ll -h /data/sdb1
总用量 4.0M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo5.log

2.2、查看条带卷文件分布（node1:/dev/sdc1、node2:/dev/sdc1）
[root@node1 ~]#ll -h /data/sdc1
总用量 100M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo4.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo5.log

[root@node2 ~]#ll -h /data/sdc1
总用量 100M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo4.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo5.log

3、查看复制卷文件分布（node3:/dev/sdb1、node4:/dev/sdb1）
[root@node3 ~]#ll -h /data/sdb1
总用量 200M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo4.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo5.log

[root@node4 ~]#ll -h /data/sdb1
总用量 200M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo4.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo5.log

4.查看分布式条带卷分布（node1:/dev/sdd1、node2:/dev/sdd1、node3:/dev/sdd1、node4:/dev/sdd1）
[root@node1 ~]#ll -h /data/sdd1
总用量 80M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo4.log

[root@node2 ~]#ll -h /data/sdd1
总用量 80M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo4.log

[root@node3 ~]#ll -h /data/sdd1
总用量 20M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo5.log

[root@node4 ~]#ll -h /data/sdd1
总用量 20M
-rw-r–r–. 2 root root 20M 5月 12 18:51 demo5.log

5.查看分布式复制卷分布（node1:/dev/sde1、node2:/dev/sde1、node3:/dev/sde1、node4:/dev/sde1）
[root@node1 ~]#ll -h /data/sde1
总用量 160M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo4.log
[root@node1 ~]#

[root@node2 ~]#ll -h /data/sde1
总用量 160M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo4.log

[root@node3 ~]#ll -h /data/sde1
总用量 40M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo5.log

[root@node4 ~]#ll -h /data/sde1
总用量 4.0M
-rw-r–r–. 2 root root 40M 5月 12 18:51 demo5.log

##八、破坏测试
node2服务器进行挂机来模拟故障或者关闭服务，然后在客户端上查看其他服务器的文件是否正常
客户端查看各卷的信息

1.分布式卷数据（可查看，但缺少node2的demo5.log）
文件demo5是存储在node2上的，所以分布式卷不具备冗余

[root@localhost opt]#ls -lh /test/dis
总用量 160M
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo4.log

2.条带卷

文件中没有数据，说明数据全部丢失，所以条带卷不具备冗余

ls -lh /test/stripe/

[root@localhost opt]#ls -lh /test/stripe/
总用量 0

3.分布式条带卷

ls -lh /test/dis_stripe/

[root@localhost ~]#ls -lh /test/dis_stripe/
总用量 40M
-rw-r--r--. 1 root root 40M 5月  12 18:51 demo5.log

4.分布式复制卷
关闭的node2节点数据在node1节点有复制备份所以能查看到完整数据

ls -lh /test/dis_rep/
[root@localhost ~]#ls -lh /test/dis_rep/
总用量 200M
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo4.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo5.log

5.复制卷
node3和node4节点有两份相同的完整数据，模拟故障关闭node3节点或node4，任然可以查看到完整数据

ls -lh /test/rep/
[root@localhost ~]#ls -lh /test/rep/
总用量 200M
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo1.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo2.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo3.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo4.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo5.log
[root@localhost ~]#

##九、其他维护命令
1．查看GlusterFS卷
gluster volume list

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制

仅拒绝

gluster volume set dis-rep auth.reject 192.168.190.100

仅允许

gluster volume set dis-rep auth.allow 192.168.190.* #设置192.168.190.0网段的所有IP地址
月 12 18:51 demo3.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo4.log
-rw-r–r–. 1 root root 40M 5月 12 18:51 demo5.log
[root@localhost ~]#

##九、其他维护命令
1．查看GlusterFS卷
gluster volume list

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制

仅拒绝

gluster volume set dis-rep auth.reject 192.168.190.100

仅允许

gluster volume set dis-rep auth.allow 192.168.190.* #设置192.168.190.0网段的所有IP地址