GFS分布式文件系统

一、GlusterFS概述

1.简介

• 开源的分布式文件系统
• 由存储服务器、客户端以及NFS/Samba 存储网管组成
• 无元数据服务器

2.GlusterFS特点

• 扩展性和高性能
• 高可用性
• 全局唯一命名空间
• 弹性卷管理
• 基于标准协议

3.GlusterFS术语

• Brick
• Volume
• FUSE
• VFS
• Glusterd

4.模块化堆栈式架构

• 模块化、堆栈式的架构
• 通过对模块的组合，实现复杂的功能d

二、GlusterFS工作原理

2.1 GlusterFS工作流程

• 客户端或应用程序通过GlusterFS的挂载点访问数据
• linux系统内核通过VFS API收到请求并处理
• VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
• GlusterFS client收到数据后,client根据配置文件的配置对数据进行处理
• 通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上

2.2 弹性HASH算法

• 通过HASH算法得到一个32位的整数
• 划分为N个连续的子空间，每个空间对应一个Brick（存储块）
• 弹性HASH算法的优点

保证数据平均分布在每一个Brick中

解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

三、GlusterFS的卷类型

• 分布式卷
• 条带卷
• 复制卷
• 分布式条带卷
• 分布式复制卷
• 条带复制卷
• 分布式条带复制卷

3.1 分布式卷

分布式卷

• 没有对文件进行分块处理
• 通过扩展文件属性保存HASH值
• 支持的底层文件系统有EXT3、EXT4、ZFS、XFS等

注：没有分块处理，文件只能存在一个server中，效率不提升
分布式卷，不是轮询存储，而是HASA算法随机存储

分布式卷的特点

• 文件分布在不同的服务器,不具备冗余性
• 更容易和廉价地扩展卷的大小
• 单点故障会造成数据丢失
• 依赖底层的数据保护

创建分布式卷

• 创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中

gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

3.2 条带卷

• 根据偏移量将文件分成N块(N个条带节点)，轮询的存储在每个Brick Server节点
• 存储大文件时，性能尤为突出
• 不具备冗余性，类似Raid0
  注：从多个server中同时读取文件，效率提升

特点

• 数据被分割成更小块分布到块服务器群中的不同条带区
• 分布减少了负载且更小的文件加速了存取的速度
• 没有数据冗余

创建条带卷

• 创建了一个名为Stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

 gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3.3 复制卷

• 同一文件保存一份或多分副本
• 因为要保存副本，所以磁盘利用率较低

注：若多个节点上的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

创建复制卷
创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

3.4分布式条带卷

分布式条带卷

• 兼顾分布式卷和条带卷的功能
• 主要用于大文件访问处理
• 至少最少需要4台服务器

创建分布式条带卷
创建了名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1server2:/dir2 server3:/dir3 server4:/dir4

3.5 分布式复制卷

分布式复制卷

• 兼顾分布式卷和复制卷的功能
• 用于需要冗余的情况

创建分布式复制卷

• 兼顾分布式卷和复制卷的功能
• 用于需要冗余的情况

创建分布式复制卷
创建名为dis-rep的分布式条带卷，配置分布式复制卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2;ldir2 server3:/dir3 server4:/dir4

四、部署流程

环境：
node1：192.168.1.10
node2：192.168.1.11
node3：192.168.1.12
node4：192.168.1.13
client： 192.168.1.14

面向四台服务器
1.先关闭所有服务器的防火墙全关闭

四台都要做此操作
[root@node1 ~]# systemctl stop firewalld         ###关闭防火墙
[root@node1 ~]# systemctl disable firewalld    ###关闭自启动
[root@node1 ~]# vim /etc/selinux/config         ###关闭核心防护
SELINUX=disabled        ###设置成disabled，一共三种模式。

Enforcing:强制模式。代表SELinux在运行中，且已经开始限制domain/type之间的验证关系
Permissive:宽容模式。代表SELinux在运行中，不过不会限制domain/type之间的验证关系，即使验证不正确，程仍可以对文件进行操作，不过如果验证不正确会发出警告
Disabled:关闭模式。SELinux并没有实际运行

2.在node1上

[root@node1 ~]# vi /etc/hosts  映射
添加
192.168.1.10   node1
192.168.1.11   node2
192.168.1.12   node3
192.168.1.13   node4

[root@node1 ~]# ssh-keygen -t rsa  免密登录
[root@node1 ~]# ssh-copy-id 192.168.1.11
[root@node1 ~]# ssh-copy-id 192.168.1.12
[root@node1 ~]# ssh-copy-id 192.168.1.13
[root@node1 ~]# ssh-copy-id 192.168.1.14

3.拷贝文件

[root@node1 ~]# scp /etc/hosts root@20.0.0.11:/etc/
[root@node1 ~]# scp /etc/hosts root@20.0.0.12:/etc/
[root@node1 ~]# scp /etc/hosts root@20.0.0.13:/etc/
[root@node1 ~]# scp /etc/hosts root@20.0.0.14:/etc/

4.添加gfsrepo软件包

[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# vi gfs.repo 创建yum源
[root@node1 yum.repos.d]# cd

添加
[gfs]
name=gfs
baseurl=file:///root/gfsrepo
gpgcheck=0  无验证
enabled=1   立即启用

5.解压

[root@node1 ~]# unzip gfsrepo.zip 
[root@node1 ~]# yum clean all   清除缓存
[root@node1 ~]# yum makecache   建立缓存

6.在四个节点设备上安装软件

[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
glusterfs ：软件
glusterfs-server： 服务
glusterfs-fuse ：文件系统
glusterfs-rdma ：rdma协议

[root@node1 ~]# systemctl start glusterd.service    重启服务
[root@node1 ~]# systemctl enable glusterd.service   自启动服务
[root@node1 ~]# systemctl status glusterd.service   服务状态

7.先确保可以上网，在同步阿里云时间

8.时间同步

[root@node1 ~]# vi /etc/resolv.conf 
添加：
nameserver 8.8.8.8
[root@node1 ~]# ntpdate ntp1.aliyun.com
 3 Jan 22:20:23 ntpdate[9852]: adjust time server 120.25.115.20 offset 0.241572 sec

[root@node1 ~]# crontab -e  任务计划
添加
*/30 * * * * /usr/sbin/ntpdate ntp1.ailyun.com
每30分钟
分钟 小时 日期 月 星期

[root@node1 ~]# which ntpdate
/usr/sbin/ntpdate

9.选择一个节点作为信任池中的信任端
把node1中选择为信任端
在node1上

[root@node1 ~]# gluster peer probe node2
peer probe: success. 
[root@node1 ~]# gluster peer probe node3
peer probe: success. 
[root@node1 ~]# gluster peer probe node4
peer probe: success. 
[root@node1 ~]# gluster peer status     #查看信任关系
Number of Peers: 3

Hostname: node2
Uuid: 0b4f9189-789e-45ce-bce1-fedd78c26a1e
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: 12e0f668-3e74-49d7-98cf-a972db2c900c
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: bc3d65e5-9707-4284-ae08-caeb21fc67b2
State: Peer in Cluster (Connected)

10.在四个节点设备上添加四个硬盘后重启
面向所有设备
在node1上

[root@node1 ~]# init  6
[root@node1 ~]# fdisk -l    #查看磁盘

11.格式化

[root@node1 ~]# mkfs.ext4 /dev/sdb 

12.创建挂载点

[root@node1 ~]# mkdir {/b1,/c1,/d1,/e1}
[root@node1 ~]# fdisk -l

13.挂载

[root@node1 ~]# mount /dev/sdb /b1
[root@node1 ~]# mount /dev/sdc /c1
[root@node1 ~]# mount /dev/sdd /d1
[root@node1 ~]# mount /dev/sde /e1
[root@node1 ~]# df -Th  查看挂载情况

[root@node1 ~]# systemctl start glusterfsd.service   服务启动
[root@node1 ~]# systemctl status glusterfsd.service  查看状态

4.1 开始创建卷

1.创建分布式卷
在node1上

[root@node1 ~]# gluster volume create dis-vol node1:/b1 node2:/b1 force
dis-vol ：卷名称
node1:/b1：主机名：/挂载点
[root@node1 ~]# gluster volume info dis-vol      #查看卷的详细信息
[root@node1 ~]# gluster volume start dis-vol     #启动开启卷
[root@node1 ~]# gluster volume status dis-vol    #查看卷状态

2.创建条带卷

[root@node1 ~]# gluster volume create stripe-vol stripe 2 node1:/c1 node2:/c1 force
 stripe 2：条带使用数量2
[root@node1 ~]# gluster volume info stripe-vol 查看卷的详细信息
[root@node1 ~]# gluster volume start stripe-vol  启动开启卷
[root@node1 ~]# gluster volume status stripe-vol  查看卷状态

3.创建复制卷

[root@node1 ~]# gluster volume create rep-vol replica 2 node3:/b1 node4:/b1 force
[root@node1 ~]# gluster volume info rep-vol 
[root@node1 ~]# gluster volume start rep-vol 
[root@node1 ~]# gluster volume status rep-vol 

4.创建分布式条带卷

[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/d1 node2:/d1 node3:/d1 node4:/d1 force
[root@node1 ~]# gluster volume info dis-stripe 
[root@node1 ~]# gluster volume start dis-stripe 
[root@node1 ~]# gluster volume status dis-stripe 

5.创建分布式复制卷

[root@node1 ~]# gluster volume create dis-replica replica 2 node1:/e1 node2:/e1 node3:/e1 node4:/e1 force
[root@node1 ~]# gluster volume info dis-replica 
[root@node1 ~]# gluster volume start dis-replica 
[root@node1 ~]# gluster volume status dis-replica 

[root@node1 ~]# gluster volume list  查看创建的卷列表

在客户机上

[root@client ~]# yum -y install glusterfs glusterfs-fuse   

创建挂载点
进行挂载

[root@client ~]# mkdir {/dis,/stripe,/replica,/dis-stripe,/dis-replica}
[root@client ~]# mount.glusterfs node1:dis-vol /dis
[root@client ~]# mount.glusterfs node1:rep-vol /replica
[root@client ~]# mount.glusterfs node1:stripe-vol /stripe
[root@client ~]# mount.glusterfs node1:dis-stripe /dis-stripe
[root@client ~]# mount.glusterfs node1:dis-replica /dis-replica
[root@client ~]# df -Th  查看挂载情况

4.2 测试

在客户机上
文件复制

[root@client ~]# dd if=/dev/zero of=/demo1.log bs=40M count=1（文件大小40M）
[root@client ~]# dd if=/dev/zero of=/demo2.log bs=40M count=1
[root@client ~]# dd if=/dev/zero of=/demo3.log bs=40M count=1
[root@client ~]# dd if=/dev/zero of=/demo4.log bs=40M count=1
[root@client ~]# dd if=/dev/zero of=/demo5.log bs=40M count=1
[root@client ~]# ls -lh
[root@client ~]# cd /
[root@client /]# ls -lh  查看文件

复制文件到不同的卷上

[root@client /]# cp demo* /dis
[root@client /]# cp demo* /dis-replica/
[root@client /]# cp demo* /dis-stripe/
[root@client /]# cp demo* /stripe/
[root@client /]# cp demo* /replica/
[root@client /]# cd

1.查看分布式卷上文件
发现文件有5个
因为分布式卷有node1:/b1,node2:/b1

[root@client ~]# cd /dis
[root@client dis]# ls -lh

所以查看两个分区中文件情况
在node1上
文件4个

[root@node1 ~]# cd /b1
[root@node1 b1]# ls -lh

在node2上
只有一个文件

[root@node2 ~]# cd /b1
[root@node2 b1]# ls -lh

在客户机上
2.查看条带卷
在node1:/c1,node2:/c1

[root@client dis]# cd /stripe/
[root@client stripe]# ls -lh

在node1上
发现所有文件都有，但文件大小只有一半

[root@node1 ~]# cd /c1
[root@node1 c1]# ls -lh

在node2上
显示与node1一样

[root@node2 ~]# cd /c1
[root@node2 c1]# ls -lh

在客户机上
3.查看复制卷
在node3:/b1,node4:/b1

[root@client stripe]# cd /replica/
[root@client replica]# ls -lh

在node3上
发现所有文件都有，且文件大小一样

[root@node3 ~]# cd /b1
[root@node3 b1]# ls -lh

在node4上
显示与node3一样

[root@node4 ~]# cd /b1
[root@node4 b1]# ls -lh

在客户机上
4.查看分布式条带卷
在node1:/d1,node2:/d1，node3:/d1,node4:/d1

[root@client replica]# cd /dis-stripe/
[root@client dis-stripe]# ls -lh

[root@node1 c1]# cd /d1
[root@node1 d1]# ls -lh

在node1上
在node2上
文件存在1,2,3,4，但大小只有一半


在node3上
在node4上
文件存在5，大小一半


在客户机上
5.查看分布式复制卷
在node1:/e1,node2:/e1，node3:/e1,node4:/e1

[root@client dis-stripe]# cd /dis-replica/
[root@client dis-replica]# ls -lh

[root@node1 d1]# cd /e1
[root@node1 e1]# ls -lh

在node1上
在node2上
文件存在1,2,3,4，且大小与源文件一样


在node3上
在node4上
文件存在5，且大小与源文件一样

4.3 破坏测试

关闭node2
查看情况

在客户机上
查看分布式，只有四个文件，在node2上的5文件消失

[root@client ~]# cd /dis  
[root@client dis]# ls -lh

查看条带卷，无数据

[root@client dis]# cd /stripe/
[root@client stripe]# ls -lh

查看复制卷，无影响，有备份

[root@client stripe]# cd /replica/
[root@client replica]# ls -lh

查看分布式条带卷，node1,2上的1,2,3,4文件消失只有5文件

[root@client replica]# cd /dis-stripe/
[root@client dis-stripe]# ls -lh

查看分布式复制卷，无影响，全有备份

[root@client dis-replica]# ls -lh

4.3.1 删除卷

先停止，后删除
在node1上

[root@node1 ~]# gluster volume list  查看卷列表
[root@node1 ~]# gluster volume stop dis-vol  停止分布式卷
[root@node1 ~]# gluster volume status dis-vol  查看状态
[root@node1 ~]# gluster volume delete dis-vol  删除卷

在客户机上
查看，发现分布式卷消失

[root@client ~]# df -Th

4.4 访问控制

拒绝某个用户访问某个卷
在node1上

[root@node1 ~]# gluster volume list       #查看卷列表

[root@node1 ~]# gluster volume set rep-vol auth.reject 192.168.1.14
拒绝客户机访问复制卷

在客户机上查看
复制卷消失

[root@client ~]# df -Th
[root@client ~]# tail -f /var/log/glusterfs/replica.log      #查看日志