目录
7.1 挂起 node2 节点或者关闭glusterd服务来模拟故障
7.2 挂起 node2 和 node4 节点,在客户端上查看文件是否正常
一、GlusterFS简介
- Gluster是一个 开源的分布式文件系统。
- 由存储服务器、客户端以及NFS/Samba存储网关组成。
- 没有元数据服务器组件,这有助于提升整个系统的性能,可靠性和稳定性。
文件系统定义
- 负责实现数据存储方式,以什么格式保存在磁盘中的一个技术。
二、GlusterFS特点
扩展性和高性能
- 分布式的特性
高可用性
- 冗余、容灾的能力
全局统一命令空间
- 将所有节点的命名空间整个统一命令空间。将整个系统的所有节点的存储容量组成一个大的虚拟存储池,供客户端访问。
弹性卷管理
- 逻辑存储池可以在线进行增加和移除,不会导致业务中断。逻辑卷可以根据需求在线增长和缩减,并可以在多个节点中实现负载均衡。
基于标准协议
- 按照什么协议进行传输(TCP/UDP),Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议,完全与 POSIX 标准(可移植操作系统接口)兼容。
三、GlusterFS专业术语
1、Brick(块存储服务器)
- 实际存储用户数据的服务器(相当于逻辑卷中的PE)
2、Volume(逻辑卷)
-
一个逻辑卷是一组Brick的集合,卷是数据存储的逻辑设备。
-
本地文件系统的“分区”
3、FUSE(用户空间的文件系统)
- 用户的空间的文件系统(类别EXT4),这是一个”伪文件系统(就是虚拟的文件系统)“,用户端的交换模块。
4、VFS(虚拟端口)
- 用户是提交请求给VFS,然后VFS交给FUSH,再交给GFS客户端,最后由客户端交给远程服务端进行存储。
5、Glusterd(服务)
- 是运行在存储节点的进程(客户端运行的是gluster client),GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd 完成。
四、GFS的工作原理
①外来一个请求,例:用户端申请创建一个文件,客户端或应用程序通过GFS的挂载点访问数据。
②linux系统内核通过VFS的API收到请求并处理。
③VFS将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给GluseterFS client端。
④GlusterFS client端收到数据后,会根据配置文件的配置对数据进行处理。
⑤再通过网络,将数据发送给远程端的Gluster server,并将数据写入到服务器储存设备上。
⑥server再将数据转交给VFS虚拟文件系统转换,再由VFS进行CFS转存处理,最后交给EXT3文件系统,最后存储到磁盘中。
2、分布式gfs服务器存储
分布式GFS存储是依靠于弹性hash算法,通过对存储内容进行hash算法的运算,可以得到32位的整数,将32位整数平均划分到 分布式服务器中,也就是每一个brick对应一段整数范围。用户根据计算得出数字找到对应的brick块。
弹性HASH算法
- 弹性 HASH 算法是 Davies-Meyer 算法的具体实现,通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值,
- 假设逻辑卷中有 N 个存储单位 Brick,则 32 位的整数范围将被划分为 N 个连续的子空间,每个空间对应一个 Brick。
- 当用户或应用程序访问某一个命名空间时,通过对该命名空间计算 HASH 值,根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。
弹性HASH算法的优点
- 保证数据平均分布在每一个Brick中
- 解决了对元数据服务器的依赖,进而解决了单点故障
五、GlusterFS的卷类型
1、分布式卷
- 没有对文件进行分块处理
- 通过扩展文件属性保存HASH值
- 支持底层文件系统有EXT3、EXT4、ZFS、XFS等
特点:
- 文件分布在不同的服务器,不具备冗余性
- 更容易和廉价的扩展卷的大小。
- 单点故障会造成数据丢失
- 依赖底层的数据保护
2、条带卷
- 根据偏移量将文件分成N块(N个条带节点),轮询的存储在每个Brick Server节点
- 存储大文件时,性能尤为突出
- 不具备冗余性,类似Raid0
特点
- 数据被分割成更小块分布到块服务器群集中的不同条带区。
- 分布减少了负载且更小的文件加速了存取的速度。
- 没有数据冗余
3、复制卷
- 同一文件保存一份或多份副本
- 因为要保存副本,所以磁盘利用率较低
- 若多个节点上的存储空间不一致,将按照木桶效应取最低点的容量作为该卷的总容量。
特点
- 卷中所有的服务器均保存一个完整的副本
- 卷的副本数量可由创建的时候决定,但是复制必须等于卷中Brick所包含的存储服务器数。
- 至少由两块服务器或更多服务器
- 具备冗余性
4、分布式条带卷
- 兼顾分布式卷和条带卷的功能
- 主要用于大文件访问处理
- 至少最少需要4台服务器
5、分布式复制卷
- 兼顾分布式卷和复制卷的功能
- 用于需要冗余的情况
六、部署GlusterFS集群实验
实验环境:
在每台节点服务器添加四块硬盘,大小不做限制
Node1节点:node1/192.168.247.20 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2节点:node2/192.168.247.21 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3节点:node3/192.168.247.22 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4节点:node4/192.168.247.23 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
=====客户端节点:192.168.247.80=====
1、准备环境(所有node节点上操作)
1、关闭防火墙
systemctl stop firewalld
setenforce 0
2.磁盘分区,并挂载
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
3.修改主机名,配置/etc/hosts文件
#以Node1节点为例:
hostnamectl set-hostname node1
su
echo "192.168.247.20 node1" >> /etc/hosts
echo "192.168.247.21 node2" >> /etc/hosts
echo "192.168.247.22 node3" >> /etc/hosts
echo "192.168.247.23 node4" >> /etc/hosts
2、安装、启动GlusterFS(所有node节点上操作)
1、将gfsrepo 软件上传到/opt目录下
[root@node1 opt]# rz -E
rz waiting to receive.
[root@node1 opt]# ls
fdisk.sh gfsrepo.zip rh
[root@node1 opt]# unzip gfsrepo.zip
2、 创建本地yum仓库,编译安装,启动服务
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
chmod +x gfs.sh
yum clean all && yum makecache
#yum -y install centos-release-gluster
#如采用官方 YUM 源安装,可以直接指向互联网仓库
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
#故障原因是版本过高导致,执行下述操作,再执行清空yum缓存,再安装
yum remove glusterfs-api.x86_64 glusterfs-cli.x86_64 glusterfs.x86_64 glusterfs-libs.x86_64 glusterfs-client-xlators.x86_64 glusterfs-fuse.x86_64 -y
3、添加节点到存储信任池中(在 node1 节点上操作)
#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#在每个Node节点上查看群集状态
gluster peer status
4、创建卷
========根据以下规划创建卷=========
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
1、创建分布式卷
#创建分布式卷,没有指定类型,默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
#查看卷列表
gluster volume list
#启动新建分布式卷
gluster volume start dis-volume
#查看创建分布式卷信息
gluster volume info dis-volume
2.创建条带卷
#指定类型为 stripe,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume
3.创建复制卷
#指定类型为 replica,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume
4.创建分布式条带卷
#指定类型为 stripe,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe
5.创建分布式复制卷
指定类型为 replica,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep
查看当前所有卷的列表
gluster volume list
5、部署 Gluster 客户端
1.安装客户端软件
#将gfsrepo 软件上传到/opt目下
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
2.创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
3.配置 /etc/hosts 文件
echo "192.168.247.20 node1" >> /etc/hosts
echo "192.168.247.21 node2" >> /etc/hosts
echo "192.168.247.22 node3" >> /etc/hosts
echo "192.168.247.23 node4" >> /etc/hosts
4.挂载 Gluster 文件系统
#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
#永久挂载
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
6、测试 Gluster 文件系统
1.卷中写入文件,客户端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp /opt/demo* /test/dis
cp /opt/demo* /test/stripe/
cp /opt/demo* /test/rep/
cp /opt/demo* /test/dis_stripe/
cp /opt/demo* /test/dis_rep/
2.查看文件分布
查看分布式文件分布(node1:/dev/sdb1、node2:/dev/sdb1)
[root@node1 ~] # ls -lh /data/sdb1
总用量 160M
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo4.log
[root@node2 ~]#ll -h /data/sdb1
总用量 40M
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo5.log
##数据没有被分片
查看条带卷文件分布(node1:/dev/sdc1、node2:/dev/sdc1)
[root@node1 ~] # ls -lh /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo1.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo2.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo3.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo4.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo5.log
[root@node2 ~]#ll -h /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo1.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo2.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo3.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo4.log
-rw-r--r--. 2 root root 20M 3月 2 22:46 demo5.log
##数据被分片50% 没副本 没冗余
查看复制卷文件分布(node3:/dev/sdb1、node4:/dev/sdb1)
[root@node3 ~]#ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo4.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo5.log
[root@node4 ~]#ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo4.log
-rw-r--r--. 2 root root 40M 3月 2 22:46 demo5.log
##数据没有被分片 有副本 有冗余
查看分布式条带卷分布(node1:/dev/sdd1、node2:/dev/sdd1、node3:/dev/sdd1、node4:/dev/sdd1)
[root@node1 opt]# ll -h /data/sdd1
总用量 81M
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo1.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo2.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo3.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo4.log
[root@node2 opt]# ll -h /data/sdd1
总用量 81M
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo1.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo2.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo3.log
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo4.log
[root@node3 opt]# ll -h /data/sdd1
总用量 21M
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo5.log
[root@node4 opt]# ll -h /data/sdd
总用量 21M
-rw-r--r--. 2 root root 20M 8月 24 21:33 demo5.log
##数据被分片50% 没副本 没冗余
查看分布式复制卷分布(node1:/dev/sde1、node2:/dev/sde1、node3:/dev/sde1、node4:/dev/sde1)
[root@node1 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo1.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo2.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo3.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo4.log
[root@node2 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo1.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo2.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo3.log
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo4.log
[root@node3 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo5.log
[root@node4 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月 24 21:33 demo5.log
##数据没有被分片 有副本 有冗余
7、破坏性测试
7.1 挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service
在客户端上查看文件是否正常
#分布式卷
[root@promote test]# ll /test/dis/ #在客户机上发现少了demo5.log文件,这个是在node2上的
总用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
#条带卷
[root@ test]# cd /test/stripe/ #无法访问,条带卷不具备冗余性
[root@promote stripe]# ll
总用量 0
#分布式条带卷
[root@promote test]# ll /test/dis_stripe/ #无法访问,分布条带卷不具备冗余性
总用量 40960
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
#分布式复制卷
[root@promote test]# ll /test/dis_rep/ #可以访问,分布式复制卷具备冗余性
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
7.2 挂起 node2 和 node4 节点,在客户端上查看文件是否正常
#测试复制卷是否正常
[root@promotet rep]# ls -l /test/rep/ #在客户机上测试正常 数据有
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
#测试分布式条卷是否正常
[root@promote dis_stripe]# ll /test/dis_stripe/ #在客户机上测试没有数据
总用量 0
#测试分布式条卷是否正常
[root@promote dis_stripe]# ll /test/dis_stripe/ #在客户机上测试没有数据
总用量 0
#测试分布式复制卷是否正常
[root@promote dis_rep]# ll /test/dis_rep/ #在客户机上测试正常 有数据
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
七、其它维护命令
1.查看GlusterFS卷
gluster volume list
2.查看所有卷的信息
gluster volume info
3.查看所有卷的状态
gluster volume status
4.停止一个卷
gluster volume stop dis-stripe
5.删除一个卷,注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
gluster volume delete dis-stripe
6.设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100
#仅允许
gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)