GFS分布式文件系统

GFS分布式文件系统

gfs简介

开源的分布式文件系统

由存储服务器、客户端以及nfs/samba存储网关组成

无元数据服务器

gfs特点

拓展性和高性能

高可用

全局统一命名空间

弹性卷管理

基于标准协议

gfs术语

brick（存储块）

指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。

volume（逻辑卷）

一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备，类似于LVM 中的逻辑卷。大部分Gluster管理操作是在卷上进行的。

fuse

是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。

伪文件系统

vfs

内核空间对用户空间提供的访问磁盘的接口。

虚拟端口

glusterd（后台管理进程）

在存储集群中的每个节点上都要运行

gfs工作流程

(1）客户端或应用程序通过GlusterFS 的挂载点访问数据。

(2） linux系统内核通过VFS API 收到请求并处理。

(3）VFS 将数据递交给FUSE内核文件系统，并向系统注册一个实际的文件系统FUSE，而FUSE文件系统则是将数据通过/dev/fuse 设备文件递交给了GlusterFS client端。可以将 FUSE文件系统理解为一个代理。

(4) GlusterFS client收到数据后，client根据配置文件的配置对数据进行处理。

(5）经过GlusterFS client处理后，通过网络将数据传递至远端的GlusterFS Server，并且将数据写入到服务器存储设备上。

弹性hash算法

通过HASH算法得到—个32位的整数

划分为N个连续的子空间，每个空间对应一个Brick

弹性HASH算法的优点：

保证数据平均分布在每一个Brick中

解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

gfs卷类型

分布式卷（慎用）（dis-volume）

没有对文件进行分块处理

通过扩展文件属性保存hash值

支持的底层文件系统有ext3、ext4、zfs、xfs等

特点：

文件分布在不同的服务器，不具备冗余性

更容易和廉价的扩展卷的大小

单点故障会造成数据丢失

依赖底层的数据保护

条带卷(stripe-volume)

根据偏移量将文件分为N块（N个条带节点），轮询的存储在每个brick server节点

存储大文件时，性能尤为突出

不具备冗余性，类似于raid0

特点：

数据被分割成更小块分布到块服务器群中的不同条带区

分部减少了负载切更小的文件加速了存取的速度

没有数据冗余

复制卷(rep-volume)

同一文件保存一份或多份副本

因为要保存副本，所以磁盘利用率较低

若多个节点上的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

特点：

卷中所有的服务器均保存一个完整的副本

卷的副本数量可由客户创建的时候决定

至少有两个块服务器或更多服务器

具有冗余性

分布式条带卷(dis-stripe)

兼顾分布式卷和条带卷的功能

主要用于大文件访问处理

至少需要4台服务器，不具备冗余性

服务器数量大于等于条带书的两倍

分布式复制卷(dis-rep)

兼顾分布式卷和复制卷的功能

用于需要冗余的情况，至少4台服务器

服务器数量大于等于副本数的两倍

条带复制卷

分布式条带复制卷

部署 GFS 群集

1. 环境

节点	主机IP	磁盘	挂载点
Node1节点	node1/192.168.116.10	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
Node2节点	node2/192.168.116.11	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
Node3节点	node3/192.168.116.12	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
Node4节点	node4/192.168.116.13	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
客户端节点	client/192.168.116.15

2. 准备环境

Node{1…4}节点都要配置

（1）关闭防火墙

systemctl stop firewalld
setenforce 0

（2）磁盘分区并挂载

vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh

（3）修改主机名 配置/etc/hosts文件

hostnamectl set-hostname node1
su

echo "192.168.116.10 node1" >> /etc/hosts
echo "192.168.116.11 node2" >> /etc/hosts
echo "192.168.116.12 node3" >> /etc/hosts
echo "192.168.116.13 node4" >> /etc/hosts

3. 安装、启动GlusterFS（所有node节点上操作）

（1）下载gfsrepo镜像源

将gfsrepo 软件上传到/opt目录下

# Node1节点
ls /opt
fdisk.sh  gfsrepo.zip  rh

scp gfsrepo.zip 192.168.116.11:/opt
scp gfsrepo.zip 192.168.116.12:/opt
scp gfsrepo.zip 192.168.116.13:/opt

# 所有Node节点
cd /opt
unzip gfsrepo.zip

（2）配置gfsrepo本地yum源

# 所有Node节点
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

（3）安装GlusterFS

# 如采用官方 YUM 源安装，可以直接指向互联网仓库
# yum -y install centos-release-gluster			

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd.service 
systemctl enable glusterd.service
systemctl status glusterd.service

4. 添加节点到存储信任池

当我们将多个节点组成一个GlusterFS存储集群时，每个节点都需要互相认可并信任对方。这是为了确保数据的一致性和可靠性。只有在信任池中添加了所有的存储节点，集群中的每个节点才能相互知道彼此的存在并进行数据同步和复制操作。

通过配置存储信任池，GlusterFS可以确保数据在存储集群中的正确传输。这样，在节点之间进行数据复制、故障转移和负载均衡等操作时，系统可以根据存储信任池的配置信息完成任务，并保持整个集群的稳定性和可靠性。

# 只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

# 在每个Node节点上查看群集状态
gluster peer status

5. 创建卷

根据规划创建如下卷

卷名称	卷类型	Birck
dis-volume	分布式卷	node1（/data/sdb1） node2（/data/sdb1）
stripe-volume	条带卷	node1（/data/sdc1） node2（/data/sdc1）
rep-volume	复制卷	node3（/data/sdb1） node4（/data/sdb1）
dis-stripe	分布式条带卷	node1（/data/sdd1） node2（/data/sdd1） node3（/data/sdd1） node4（/data/sdd1）
dis-rep	分布式复制卷	node1（/data/sde1） node2（/data/sde1） node3（/data/sde1） node4（/data/sde1）

6. 创建分布式卷

创建分布式卷，没有指定类型，默认创建的是分布式卷

force 是强制，如果不加force，当出现可能的风险时，命令不执行

# 创建分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force

# 查看卷列表
gluster volume list

# 启动刚刚创建的分布式卷
gluster volume start dis-volume

# 查看刚刚创建的分布式卷信息
gluster volume info dis-volume

[root@node1 ~]# gluster volume create dis-volume node1:/data/sdb1 n
volume create: dis-volume: success: please start the volume to acce
[root@node1 ~]# gluster volume list
dis-volume
[root@node1 ~]# gluster volume start dis-volume 
volume start: dis-volume: success
[root@node1 ~]# gluster volume info dis-volume 
 
Volume Name: dis-volume
Type: Distribute
Volume ID: a28867e8-ade1-4da4-af33-b52f9a2f7b79
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on


卷名称：dis-volume
类型：Distribute（分布式）
卷ID：a28867e8-ade1-4da4-af33-b52f9a2f7b79
状态：已启动
快照计数：0
砖块数量：2
传输类型：tcp
砖块信息：
砖块1：node1:/data/sdb1
砖块2：node2:/data/sdb1
重新配置的选项：
transport.address-family: inet
nfs.disable: on

上述信息提供了有关名为"dis-volume"的卷的详细信息。该卷的类型是分布式（Distribute），由两个砖块组成，分别位于node1和node2上的目录/data/sdb1。卷的状态为已启动，并且当前没有任何快照。

此外，还列出了重新配置的选项，transport.address-family被配置为inet（IPv4），nfs.disable被配置为关闭（off），表示禁用了NFS（Network File System）功能。

7. 创建条带卷

指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷

# 创建条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force

# 查看卷列表
gluster volume list

# 启动条带卷
gluster volume start stripe-volume

# 查看条带卷
gluster volume info stripe-volume

8. 创建复制卷

指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷

# 创建复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force

# 查看卷列表
gluster volume list

# 启动复制卷
gluster volume start rep-volume

# 查看复制卷
gluster volume info rep-volume