GlusterFS分布式文件存储的原理和案例部署

一、GlusterFS概述

• GlusterFS简介
  开源的分布式文件系统
  有存储服务器、客户端以及NFS/Samba 存储网关组成
  无元数据服务器

• GlusterFS特点
  扩展性和高性能
  高可用性
  全局统一命名空间
  弹性卷管理
  基于标准协议

• GlusterFS术语
  Brick
  Volume
  FUSE
  VFS
  Glusterd

• 模块化堆栈式架构
  模块化、堆栈式的架构通过对模块的组合，实现复杂的功能
  

二、GlusterFS工作原理

2.1 GlusterFS工作流程

• 客户端或应用程序通过GlusterFS的挂载点访问数据
• linux系统内核通过VFS API收到请求并处理
• VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
• GlusterFS client收到数据后,client根据配置文件的配置对数据进行处理
• 通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上

2.2 弹性HASH算法

• 通过HASH算法得到一个32位的整数
• 划分为N个连续的子空间，每个空间对应一个Brick（存储块）
• 弹性HASH算法的优点
  ◆ 保证数据平均分布在每一个Brick中
  ◆解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

三、GlusterFS的卷类型

■ 分布式卷
■ 条带卷
■ 复制卷
■ 分布式条带卷
■ 分布式复制卷
■ 条带复制卷
■ 分布式条带复制卷

3.1 分布式卷

• 没有对文件进行分块处理
• 通过扩展文件属性保存HASH值
• 支持的底层文件系统有EXT3、EXT4、ZFS、XFS等

如图：没有分块处理，文件只能存在一个server中，效率不提升，分布式卷，不是轮询存储，而是HASA算法随机存储。

• 分布式卷的特点
  文件分布在不同的服务器,不具备冗余性；
  更容易和廉价地扩展卷的大小；
  单点故障会造成数据丢失；
  依赖底层的数据保护。
• 创建分布式卷命令

#创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

3.2 条带卷

• 根据偏移量将文件分成N块(N个条带节点)，轮询的存储在每个Brick Server节点
• 存储大文件时，性能尤为突出
• 不具备冗余性，类似Raid0
  

从多个server中同时读取文件，效率提升。

• 特点
  数据被分割成更小块分布到块服务器群中的不同条带区
  分布减少了负载且更小的文件加速了存取的速度
  没有数据冗余
• 创建条带卷

#创建了一个名为Stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中
 gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3.3 复制卷

• 同一文件保存一份或多分副本
• 因为要保存副本，所以磁盘利用率较低
  若多个节点上的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

• 创建复制卷

创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

3.4 分布式条带卷

• 分布式条带卷
  兼顾分布式卷和条带卷的功能
  主要用于大文件访问处理
  至少最少需要4台服务器
  

• 创建分布式条带卷

创建了名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1
server2:/dir2 server3:/dir3 server4:/dir4

3.5 分布式复制卷

• 分布式复制卷
  兼顾分布式卷和复制卷的功能
  用于需要冗余的情况
  
• 创建分布式复制卷

创建名为dis-rep的分布式条带卷，配置分布式复制卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2;
ldir2 server3:/dir3 server4:/dir4

四、GlusterFS群集部署案例

5.1 案例环境

五台主机，四台作为分布式存储集群，一台作为客户机，挂载使用GFS群集。所有主机关闭防火墙和核心防护。
node1：192.168.247.130
node2：192.168.247.140
node3：192.168.247.150
node4：192.168.247.160
client：192.168.247.170

5.2 准备磁盘

所有节点上都新增四块磁盘，然后重启，查看磁盘是否添加成功：

磁盘预划分：

磁盘	卷类型
node1：/dev/sdb1 node2：/dev/adb1	分布式卷
node3：/dev/sdb1 node4：/dev/sdb1	条带卷
node1：/dev/sdc1 node2：/dev/sdc1	复制卷
node1：/dev/sdd1 node2：/dev/sdd1 node3：/dev/sdd1 node4：/dev/sdd1	分布式条带卷
node1：/dev/sde1 node2：/dev/sde1 node3：/dev/sde1 node4：/dev/sde1	分布式复制卷

所有节点进行磁盘的分区、格式化和挂载，通过shell脚本运行，如下：

[root@localhost ~]# vim disk.sh
#!/bin/bash
echo  "进行磁盘创建，格式化，挂载"
fdisk -l |grep sd[b-z]
echo "------------------------------------"
read -p "你想选择上面那块磁盘挂载：" ci
case $ci  in
sda)
      echo "请选择数据盘挂载.."
      exit
        ;;
sd[b-z])
fdisk /dev/$ci <<EOF
n
p




w
EOF
#创建挂载目录
mkdir  -p  /data/${ci}1
ta=/data/${ci}1
#格式化磁盘
mkfs.xfs  /dev/${ci}1 &>/dev/null
#挂载磁盘
echo  "/dev/${ci}1  $ta  xfs   defaults  0 0 ">>/etc/fstab
mount -a
           ;;
quit)
      exit
      ;;
*)
    echo  "请选择正确的磁盘....重新尝试"
  ;;
esac
[root@server1 ~]# chmod +x fdisk.sh 
[root@server1 ~]# ./fdisk.sh 
./fdisk.sh:行1: [root@localhost: 未找到命令
进行磁盘创建，格式化，挂载
磁盘 /dev/sdd：2147 MB, 2147483648 字节，4194304 个扇区
磁盘 /dev/sdc：2147 MB, 2147483648 字节，4194304 个扇区
磁盘 /dev/sdb：2147 MB, 2147483648 字节，4194304 个扇区
磁盘 /dev/sde：2147 MB, 2147483648 字节，4194304 个扇区
------------------------------------
你想选择上面那块磁盘挂载：sdb //此处输入需要挂载的磁盘

依次在四个节点上执行四个磁盘的分区、格式化、挂载使用。
查看结果如下：

5.3 各节点在进行GFS群集前的准备

以node1为例
修改主机名为node1

[root@server1 ~]# hostnamectl set-hostname node1

为了保证各节点的同步，进行时间同步

[root@node1 yum.repos.d]# ntpdate ntp1.aliyun.com	//进行时间同步（要联网）

每个节点上，做四个节点的IP与主机名的映射

[root@node1 ~]# vi /etc/hosts
192.168.247.130 node1
192.168.247.140 node2
192.168.247.150 node3
192.168.247.160 node4

5.4 安装GFS

以下所有操作以node1节点为例。
将GFSrepo包导入root目录下，配置yum仓库：

[root@node1 ~]# cd /etc/yum.repos.d
[root@node1 yum.repos.d]# vim glfs.repo					//创建glfs的yum仓库 路径指向挂载点/abc
[GLFS]
name=glfs
baseurl=file:///root/gfsrepo  #repo包所在绝对路径
gpgcheck=0
enabled=1

yum安装，并开启gluster服务：

[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@node1 yum.repos.d]# systemctl start glusterd.service 
[root@node1 yum.repos.d]# systemctl enable glusterd.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.
[root@node1 yum.repos.d]# systemctl status glusterd.service 

5.5 创建GFS池

创建存储信任池，在一台节点上添加别的就可以了，其他的会自动形成信任池

[root@node1 yum.repos.d]# gluster peer probe node2   ##添加池子，peer匹配， probe信任+节点名称
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node3
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node4
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer status  //查看所有节点，每台能看到除自己之外的节点
Number of Peers: 3
Hostname: node2
Uuid: 2e130ae0-5865-42bb-b0ac-ac73d9499fba
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: f096134f-02ec-4234-a153-47ae0e93995b
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: 425e09af-2643-4585-b037-2c1cc1bc2bfa
State: Peer in Cluster (Connected)

5.6 创建各个卷

分布式卷：

[root@node1 ~]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume info dis-vol    ##查看卷信息

Volume Name: dis-vol
Type: Distribute
Volume ID: 3c138947-448f-4821-b049-7ec67655f17d
Status: Created         ##开始是created，需要开启才能使用
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:           ##模块组成
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

[root@node1 ~]# gluster volume start dis-vol ##开启
volume start: dis-vol: success
Volume Name:[root@node1 ~]# gluster volume info dis-vol 	##再看一下 dis-vol

Type: Distribute
Volume ID: 3c138947-448f-4821-b049-7ec67655f17d
Status: Started			##已经started了，可以使用
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

条带卷

[root@node1 ~]# gluster volume create stripe-vol stripe 2 node3:/data/sdc1 node2:/data/sdc1 force
volume create: stripe-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume start stripe-vol 
volume start: stripe-vol: success
[root@node1 ~]# gluster volume info stripe-vol 
 
Volume Name: stripe-vol
Type: Stripe
Volume ID: e0fd6f99-2fc7-4320-83bd-cc1fa6cfa1dc
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

复制卷

[root@node1 ~]# gluster volume create rep-vol replica 2 node1:/data/sdc1 node2:/data/sdc1 force
volume create: rep-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume start rep-vol 
volume start: rep-vol: success
[root@node1 ~]# gluster volume info rep-vol 
Volume Name: rep-vol
Type: Replicate
Volume ID: 715f66b9-233f-42c7-9bba-3cfa995cd79a
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

分布式条带卷

[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~]# gluster volume start dis-stripe 
volume start: dis-stripe: success
[root@node1 ~]# gluster volume info dis-stripe 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: f08670fb-ca8c-48a7-a10e-adc0eddbd2e4
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

分布式复制卷

[root@node1 ~]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
[root@node1 ~]# gluster volume start dis-rep
volume start: dis-rep: success
[root@node1 ~]# gluster volume info dis-rep 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: f4c8a913-bf64-44aa-b8b7-4017da8a5709
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

5.7 客户机挂载

客户机安装gfs（与node一样创建yum源）

[root@client ~]# yum -y install glusterfs glusterfs-fuse        //安装工具
[root@client ~]# vim /etc/hosts        //做主机名映射，以便识别
192.168.247.130 node1
192.168.247.140 node2
192.168.247.150 node3
192.168.247.170 node4
[[root@client ~]# mkdir -p /gfs/{dis,stripe,rep,dis-stripe,dis-rep}   #创建挂载目录
[root@client ~]# mount.glusterfs node1:dis-vol /gfs/dis  #挂载使用
[root@client ~]# mount.glusterfs node1:stripe-vol /gfs/stripe/
[root@client ~]# mount.glusterfs node1:rep-vol /gfs/rep/
[root@client ~]# mount.glusterfs node1:dis-stripe /gfs/dis-stripe/
[root@client ~]# mount.glusterfs node1:dis-rep /gfs/dis-rep/

5.8 验证各条带的现象

创建测试文件，5个test,块大小为1M,数量为40，即40M ,复制到各个存储目录

[root@client ~]# dd if=/dev/zero of=/test1.log bs=1M count=40
root@client ~]# dd if=/dev/zero of=/test2.log bs=1M count=40
root@client ~]# dd if=/dev/zero of=/test3.log bs=1M count=40
root@client ~]# dd if=/dev/zero of=/test4.log bs=1M count=40
root@client ~]# dd if=/dev/zero of=/test5.log bs=1M count=40
root@client ~]# cd /gfs/
[root@client gfs]# cp /test* dis
[root@client gfs]# cp /test* stripe/
[root@client gfs]# cp /test* rep/
[root@client gfs]# cp /test* dis-stripe/
[root@client gfs]# cp /test* dis-rep/

查看存储情况
dis-vol为分布式卷，由node1和node2的sdb1组成，分布如下，通过hash算法分开存储在两个节点

stripe-vol为条带卷，由node3的sdb1和node4的sdb1组成，可以看到，它每一份文件都分开在两个节点存储，一个节点存储一半的数据，提升了存取速度

rep-vol复制卷，可以看到两个各节点上的文件一样，复制存储，少了一半的存储容量，但有了数据冗余，更安全

dis-stripe为分布式条带卷,可以看到先分布式把124放到node1和2,把3和5f放到node3和4,然后在node1/2,node3/4进行条带存储

dis-rep分布式复制卷，可以看到分布式和上面那种一样，但是是复制存储，每个文件都是复制存放在两个节点内