GFS分布式文件系统

GFS分布式文件系统：

全称：gfd glusterFS 开源的分布式的文件系统

存储服务器  客户端  以及网络（NFS/samba）网关

传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。

一旦元服务器故障，所有的存储节点全部失效

现在GFS取消了元服务器机制，数据横向扩展能力更强。可靠性更强。存储效率也更高

GFS的特点：

1. 扩展性更强，高性能
2. 高可用，可以自动对文件进行复制。多次复制。确保数据总是可以访问，哪怕是硬件故障也能正常访问
3. 全局统一的命名空间。所有节点都在一个分支的管理之下。客户端访问分支节点即可
4. 弹性卷，类似LVM。不同硬盘上的不同分区，组成一个逻辑上的硬盘。不同服务器上的不同的硬盘分区，组成一个卷。可以动态的扩容。
5. 基于标准协议，GFS存储服务支持，NFS FTP HTTP以及GFS协议。应用程序可以直接使用数据，不需要任何修改。

GFS的组件和术语：

1.BRICK（存储块），存储服务器提供的用于物理存储的专用分区，GFS当中的基本存储单元。也是对外提供的存储目录。服务和目录的绝对路径组成

server:dir

192.168.120.10:/opt/gfs

node1:/opt/gfs

2.volume逻辑卷 一个逻辑卷就是一组brick的集合。类似于lvm，我们管理GFS，就是管理这些卷

3.FUSE：GFS的内核模块，允许用户创建自己的文件系统

4.VFS：内核空间对用户提供的访问磁盘的接口。虚拟端口

5.服务端在每个存储节点上都要运行。glusterd（后台管理进程）

工作流程：

gfs的卷有哪些类型：

分布式卷，也是GFS的默认卷类型

条带卷（现在已经没了）

复制卷（镜像化）

分布式复制卷

分布式卷的特点：文件数据通过HASH算法分布到设置的所有BRICK SERVER上。GFS的默认卷，属于raid0，没有容错机制

在分布式卷模式下，没有对文件进行分块，直接存储在某个server的节点上。存取效率也没有提高。直接使用本地文件系统进行存储

复制卷：类似于raid1，文件会同步在多个brick server上，读性能上升，写性能稍差

复制卷具备冗余，坏一个节点不影响数据，但是要保存副本，磁盘利用率50%

分布式复制卷：两两复制，文件会在组内同步。不同的组之间数据未必同步

环境：

实验环境准备：

node1：20.0.0.10

node2：20.0.0.20

node3：20.0.0.30

node4：20.0.0.40

磁盘： /devsdb1 挂载点：/data/sdb1

磁盘： /devsdc1 挂载点：/data/sdc1

磁盘： /devsdd1 挂载点：/data/sdd1

客户端任选：20.0.0.25

创建分布式：

实验开始
关闭四台主机的防火墙
vim fdisk.sh
#创建一个磁盘分区的脚本
sz fdisk.sh
alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
scan
给每个主机都新建四个磁盘
sh fdisk.sh
#执行分区脚本
mkfs.xfs /dev/sdc1
#如果脚本出现问题可以手动创建文件系统
mount -a 
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
#分别给四台主机修改主机名
su
#修改完刷新一下即可
vim /etc/hosts
20.0.0.10 node1
20.0.0.20 node2
20.0.0.30 node3
20.0.0.40 node4
#四台主机都做映射
 
开始安装GFS节点四台主机都需要安装
yum -y install centos-release-gluster
yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl restart glusterd
systemctl status glusterd
#重启一下查看GLS的状态即可
 
四台主机都查看一下版本
glusterd -V
#查看一下版本
 
添加节点服务，形成一个存储信任池，在一台主机上添加即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
后面状态都得是运行中才是控制完毕
 
 
gluster volume create fenbushi node1:/data/sdb1 node2:/data/sdb1 force
#开始创建卷组，名称必须唯一
#gluster volume create：创建新卷，默认就是分布式卷
#fenbushi：卷名，唯一不可重复
#node1:/data/sdb1 node2:/data/sdb1 force：挂载点
#force：强制
gluster volume start fenbushi
#开启卷组
gluster volume info fenbushi
#查看分布式信息
gluster volume list
#查看有多少卷
gluster peer status
#查看节点关系
gluster peer detach node1
#停止节点命令，实验中不要停止
 
开始配置客户端
systemctl stop firewalld
setenforce 0
#关闭防火墙
安装客户端组件
yum -y install glusterfs glusterfs-fuse
vim /etc/hosts
20.0.0.10 node1
20.0.0.20 node2
20.0.0.30 node3
20.0.0.40 node4
#与存储主机做映射
mkdir -p /test/fenbushi
mount.glusterfs node1:fenbushi /test/fenbushi
#临时挂载
vim /etc/fstab
node1:fenbushi /test/fenbushi glusterfs defaults,_netdev 0 0
#永久挂载
mount -a 
#刷新
 
开始写入测试
在客户机测试
cd /test/fenbushi
touch {1..5}.txt
#创建5个文件
查看一下存储结构
到node1和node2
查看一下
cd /data/sdb1
实验成功

创建复制卷：

复制卷
到node1
gluster volume create fuzhijuan replica2 node2:/data/sdc1 node3:/data/sdc1 force
#replica；设置复制策略，2表示两两复制。必须要小于等于存储节点，不能比存储节点多，否则创建失败。
gluster volume start fuzhijuan
#开启卷组
gluster volume info fuzhijuan
#查看卷的信息
到客户端创建一个目录
mkdir fuzhijuan
mount.glusterfs node1:fuzhijuan /test/fuzhijuan/
#挂载到本地的目录
cd fuzhijuan
touch {1..6}.txt
再到node2和node3查看一下

创建分布式复制卷：

分布式复制卷
gluster volume create fenbufuzhi replica 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start fenbufuzhi
#启动卷
gluster volume info fenbufuzhi
#查看卷的信息
 
创建完成后到客户端
mkdir fenbufuzhi
mount.glusterfs node1:fenbufuzhi /test/fenbufuzhi
df -h 
cd /test/fenbufuzhi
touch {1..6}.txt
到存储node1和node2查看
只有其中一个文件
再到node3和node4查看
文件都在
实验完成！

分布式府志卷是最常用的分布式文件存储方式，他是实现根据，存储文件时还是分布式的存储方式，分开存储，但是会进行复制。索引也拥有冗余功能，但是磁盘利用率只有50%。

删除卷：

如果要删除的卷是运行状态需要先停止再删除
gluster volume stop fenbushi
#停止卷
gluster volume delete fenbushi
#删除分布式
gluster volume status
#查看卷的状态

对卷访问控制：

vim /etc/hosts
加入映射节点
yum -y install glusterfs glusterfs-fuse
安装客户端软件
 
到node1
gluster volume set fenbufuzhi auth.reject 20.0.0.25
#拒绝25节点访问
客户端访问GFS卷，通过挂载的方式实现的
 
到客户端操作
mkdir /test
mount.glusterfs node1:fenbufuzhi /test
#测试一下能否挂载成功
拒绝成功
 
如何允许网段访问
gluster volume set fenbushi auth.allow 20.0.0.*
#允许所有网段可以访问这个卷

总结：

分布式存储系统：

1、 分布式卷

2、 分布式复制卷（重点）

工作性质要和raid做区分。raid是磁盘冗余整列，本机磁盘冗余

GFS是把多个不同服务器上的不同节点，不同硬盘组合起来，形成一个卷(基于网络的虚拟磁盘)。实现的是文件系统的冗余