一文看懂GFS如何搭建

---

一、服务端配置

1.环境

• 每台虚拟机需要添加4块5G磁盘

Node1节点：node1/192.168.3.11	磁盘：/dev/sdb1		挂载点：/data/sdb1	5GX4
									 /dev/sdc1			   /data/sdc1
									 /dev/sdd1			   /data/sdd1
									 /dev/sde1			   /data/sde1

Node2节点：node2/192.168.3.12	磁盘：/dev/sdb1		挂载点：/data/sdb1	5GX4
									 /dev/sdc1			   /data/sdc1
									 /dev/sdd1			   /data/sdd1
									 /dev/sde1			   /data/sde1

Node3节点：node3/192.168.3.13	磁盘：/dev/sdb1		挂载点：/data/sdb1	5GX4
									 /dev/sdc1			   /data/sdc1
									 /dev/sdd1			   /data/sdd1
									 /dev/sde1			   /data/sde1

Node4节点：node4/192.168.3.14	磁盘：/dev/sdb1		挂载点：/data/sdb1	5GX4
									 /dev/sdc1			   /data/sdc1
									 /dev/sdd1			   /data/sdd1
									 /dev/sde1			   /data/sde1

Client节点：192.168.3.15

2.修改主机名

hostnamectl set-hostname node1
su

hostnamectl set-hostname node2
su

hostnamectl set-hostname node3
su

hostnamectl set-hostname node4
su

hostnamectl set-hostname client
su

3.使用脚本对硬盘进行分区挂载

vim /opt/fdisk.sh

#!/bin/bash
#刷新磁盘
echo "- - -" >/sys/class/scsi_host/host0/scan
echo "- - -" >/sys/class/scsi_host/host1/scan
echo "- - -" >/sys/class/scsi_host/host2/scan
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR

        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
        #mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done

>>>>>>wq

• 交互时 依次输入1、2、3、4
  
  

4.添加四个节点域名解析

vim /etc/hosts
192.168.3.11 node1
192.168.3.12 node2
192.168.3.13 node3
192.168.3.14 node4

5.安装本地源GFS

• 四个节点相同操作

cd /opt
wget http://112.124.46.81/gfsrepo.zip
unzip gfsrepo.zip    ##解压
cd /etc/yum.repos.d/
mkdir bak    ##将原来的源移动到新建的目录中
mv Cent* bak/

vim local.repo		//配置本地源
 
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

>>>>>>>wq

#安装GFS软件包，四台节点都做
yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma    ###安装
#glusterfs-server服务端软件、glusterfs-fuse使用gfs文件系统软件

systemctl start glusterd.service      ###启动
systemctl enable glusterd.service     ###开机自启
systemctl status glusterd.service     ###查看状态

• 添加节点到存储信任池中(在node1节点上操作)

gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

gluster peer status		##在每个节点上查看群集状态

6.创建卷

• 根据规划创建如下卷

卷名称	卷类型	Brick
dis-volume	分布式卷	node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume	条带卷	node1(/data/sdc1)、node2(/data/sdc1)
rep-volume	复制卷	node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe	分布式条带卷	node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep	分布式复制卷	node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

1.创建分布式卷

#创建分布式卷，没有指定类型，默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force	

#查看卷列表
gluster volume list	

#启动新建分布式卷
gluster volume start dis-volume	

#查看创建分布式卷信息
gluster volume info dis-volume	

2.创建条带卷

#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force

#启动新建条带卷
gluster volume start stripe-volume		

#查看创建条带卷信息
gluster volume info stripe-volume		

3.创建复制卷

#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force

#启动新建复制卷
gluster volume start rep-volume		

#查看创建复制卷信息
gluster volume info rep-volume		

4.创建分布式条带卷

#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

#启动新建分布式条带卷
gluster volume start dis-stripe		

#查看创建分布式条带卷信息
gluster volume info dis-stripe		

5.创建分布式复制卷

#指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force

#启动新建分布式复制卷
gluster volume start dis-rep	

#查看创建分布式复制卷信息
gluster volume info dis-rep	

• 此时再去查看卷列表，应有五个卷

gluster volume list		##查看卷列表

二、客户端配置

• 客户端的操作：在node1上创建五个卷后，在客户端上把卷挂载在指定的五个目录内，在目录内写入了五个文件，五个文件分别保存在五个目录里面

1.安装客户端

cd /opt
wget http://112.124.46.81/gfsrepo.zip	//下载安装包
unzip gfsrepo.zip			//解压

cd /etc/yum.repos.d/
mkdir repo.bak				//创建备份目录
mv local.repo repos.bak/	//备份

vim glfs.repo

[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

>>>>>>>wq

yum clean all && yum makecache
yum install -y glusterfs glusterfs-fuse


#创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test

#配置域名解析
echo "192.168.3.11 node1" >> /etc/hosts
echo "192.168.3.12 node2" >> /etc/hosts
echo "192.168.3.13 node3" >> /etc/hosts
echo "192.168.3.14 node4" >> /etc/hosts

#挂载 Gluster 文件系统
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

• df -Th查看挂载
  

• 卷中写入文件，客户端操作

cd /opt

#生成一个特定大小的文件给与/opt/demo*.log下，大小为1M，共处理40次
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/

ls /test/
#查看/test/的文件夹/文件的目录树

2.验证gluster文件系统

• gluster服务器上查看文件分布

1. 查看分布式文件分布

ls -lh /data/sdb1		##没有被分片，文件分开节点存放

2. 查看条带卷文件分布

ls -lh /data/sdc1		##查询数据被分片50% 没副本 没冗余

3. 查看复制卷分布

复制卷放在了node3、node4
ll -h /data/sdb1	##没有被分片，有副本，有冗余  

4. 查看分布式条带卷分布

ll -h /data/sdd1		##文件被分片50%，没副本,没冗余

5. 查看分布式复制卷分布

ll -h /data/sde1		##数据没有被分片 有副本 有冗余

3.冗余（破坏）测试

1.在客户端查看文件
[root@client test]# cd /test/
[root@client test]# ll -h dis
总用量 200M
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo1.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo2.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo3.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo4.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo5.log


2.把node2节点关闭（模拟宕机），再回到客户端检查，可以看到demo5没了，所以可以得出分布式卷（node1/2）不具备冗余的特性
[root@node2 ~]# init 0

[root@client opt]# cd /test
[root@client test]# ll -h dis
总用量 160M
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo1.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo2.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo3.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo4.log



3.且发现条带卷（node1/2）数据为0，不具备冗余
[root@client test]# ll -h stripe/
总用量 0


4.关闭node3，测试复制卷（node3/node4）的冗余性
[root@node3 ~]# init 0

[root@client test]# ll -h rep/
总用量 200M
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo1.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo2.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo3.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo4.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo5.log
#可以看到数据仍然存在，不受影响

5.查看分布式条带卷（node1/2/3/4）
[root@client test]# ll -h dis_stripe/
总用量 0
#也并不具备冗余性

6.查看分布式复制卷（node1/2/3/4）
[root@client test]# ll -h dis_rep/
总用量 200M
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo1.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo2.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo3.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo4.log
-rw-r--r-- 1 root root 40M 11月 17 14:20 demo5.log

结果证明：只要带复制数据的相比而言，数据比较安全

三、Gluster的其他的维护命令

1.查看GlusterFS卷
gluster volume list

2.查看所有卷的信息
gluster volume info

3.查看所有卷的状态
gluster volume status

4.停止一个卷
gluster volume stop dis-stripe

5.删除一个卷
gluster volume delete dis-stripe
#注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则不能成功删除

6.设置卷的访问控制
gluster volume set dis-rep auth.allow 192.168.3.100
#仅拒绝，设置为IP地址为192.168.3.100的主机禁止访问dis-rep（分布式复制卷）

gluster volume set dis-rep auth.allow 192.168.3.*
#仅允许，设置为192.168.3.0网段的所有IP地址都能访问dis-rep（分布式复制卷）

---