一、GlusterFS

一、GlusterFS

（一）、GlusterFS简介

GlusterFS 是一个开源的分布式文件系统。
由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。
没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

（二）、GlusterFS特点

1.扩展性和高性能（分布式特性）

2.高可用性（冗余 有容灾的能力）

3.全局统一命名空间

4.弹性卷管理 （RAID 0 1 5 01 10）

5.基于标准协议（GFS http nFS FTP）

（三）、常用术语

1、Brick：GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
2、Volume：卷
3、FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
4、VFS：虚拟文件系统
5、Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行。

（四）、GlusterFS工作原理（工作流程）

1、客户端或应用程序通过GlusterFS的挂载点访问数据
2、linux系统内核通过VFS API收到请求并处理
3、VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
5、通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上

（五）、GlusterFS的卷类型

1.分布式卷

文件通过 HASH 算法分布到所有 Brick Server 上，这种卷是 GlusterFS 的默认卷；以文件为单位根据 HASH 算法散列到不同的 Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID0， 不具有容错能力。
在该模式下，并没有对文件进行分块处理，文件直接存储在某个 Server 节点上。 由于直接使用本地文件系统进行文件存储，所以存取效率并没有提高，反而会因为网络通信的原因而有所降低。

特点:文件分布在不同的服务器，不具备冗余性、单点故障会造成数据丢失、依赖底层的数据保护，更容易和廉价地扩展卷的大小。

2.条带卷

类似 RAID0，文件被分成数据块并以轮询的方式分布到多个 Brick Server 上，文件存储以数据块为单位，支持大文件存储， 文件越大，读取效率越高，但是不具备冗余性

特点：数据被分割成更小块分布到块服务器群中的不同条带区、分布减少了负载且更小的文件加速了存取的速度、没有数据冗余

3.复制卷

将文件同步到多个 Brick 上，使其具备多个文件副本，属于文件级 RAID 1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降。
复制卷具备冗余性，即使一个节点损坏，也不影响数据的正常使用。但因为要保存副本，所以磁盘利用率较低。

特点：卷中所有的服务器均保存一个完整的副本、卷的副本数量可由客户创建的时候决定，但复制数必须等于卷中 Brick 所包含的存储服务器数、至少由两个块服务器或更多服务器、具备冗余性

4.分布式条带卷

Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数 主要用于大文件访问处理，创建一个分布式条带卷最少需要 4 台服务器

特点：兼具分布式卷和条带卷的特点。

5.分布式复制卷、

Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下

二、GlusterFS群集部署

Node1节点：node1/192.168.177.4		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.177.8		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.177.11		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.177.18  	   磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

1.节点磁盘挂载，安装本地源（以node为例）

[root@node1 ~] # systemctl stop firewalld
[root@node1 ~] # setenforce 0

[root@node1 ~] # vim /opt/fdisk.sh

#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${
   VAR}"1" &> /dev/null
   mkdir -p /data/${
   VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

——————wq

[root@node1 ~] # chmod +x /opt/fdisk.sh
[root@node1 ~] # cd /opt/
[root@node1 /opt] # ./fdisk.sh

[root@node1 /opt] # echo "192.168.177.4 node1" >> /etc/hosts
[root@node1 /opt] # echo "192.168.177.8 node2" >> /etc/hosts
[root@node1 /opt] # echo "192.168.177.11 node3" >> /etc/hosts
[root@node1 /opt] # echo "192.168.177.18 node4" <