GFS分布式文件系统

Node1节点：node1/192.168.10.13		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.10.14		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.10.15		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.10.16		  磁盘：/dev/sdb1			挂载点：/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1


systemctl stop firewalld
setenforce 0

每台添加4块硬盘添加完重新启动虚拟机

磁盘分区，并挂载，因为要做四台机器写个脚本方便刷

chmod +x /opt/fdisk.sh  #加上执行权限
./fdisk.sh              #执行脚本

每台机器修改主机名

安装、启动GFS（所有node节点上操作）

一样刷脚本

yum -y install centos-release-gluster #如采用官方 YUM 源安装，可以直接指向互联网仓库

添加节点到存储信任池中（在 node1 节点上操作）

#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

#在每个Node节点上查看群集状态
gluster peer status

创建卷

#根据规划创建如下卷：
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷				node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷				node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

创建分布式卷

创建条带卷

创建复制卷

创建分布式条带卷

创建分布式复制卷

查看当前所有卷的列表

部署 Gluster 客户端

yum -y install glusterfs glusterfs-fuse

创建挂载目录

配置/etc/hosts文件

echo "192.168.131.100 node1" >> /etc/hosts
echo "192.168.131.101 node2" >> /etc/hosts
echo "192.168.131.102 node3" >> /etc/hosts
echo "192.168.131.103 node4" >> /etc/hosts

挂载 Gluster 文件系统

#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

#永久挂载
vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe		glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep			glusterfs		defaults,_netdev		0 0

测试 Gluster 文件系统

卷中写入文件，客户端操作

dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

查看文件分布

查看分布式文件分布 #数据没有被分片

查看条带卷文件分布 #数据被分片50% 没副本没冗余

查看复制卷分布 #数据没有被分片有副本有冗余

查看分布式条带卷分布 #数据被分片50% 没副本没冗余

查看分布式复制卷分布 #数据没有被分片有副本有冗余

破坏性测试

通过挂起node2客户机模拟故障

在客户端上查看文件是否正常

分布式卷数据查看

在客户机上发现少了demo5.log文件，这个是在node2上的

条带卷

分布式条带卷

分布式复制卷

挂起 node2 和 node4 节点，在客户端上查看文件是否正常

测试复制卷是否正常

测试分布式条卷是否正常

测试分布式复制卷是否正常

总结：上述实验测试，凡是带复制数据，相比而言，数据比较安全

扩展其他的维护命令

1．查看GlusterFS卷
gluster volume list 

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）


安装报错：版本过高，先解除依赖关系

yum remove glusterfs-api.x86_64 glusterfs-cli.x86_64 glusterfs.x86_64 glusterfs-libs.x86_64 glusterfs-client-xlators.x86_64 glusterfs-fuse.x86_64 -y