分布式文件系统——GFS
一、GlusterFS 概述
1、GlusterFS 简介
- GlusterFS是一个开源的分布式文件系统。
- 由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。
- 没有元数据服务器组件,这有助于提升整个系统的性能、可靠性和稳定性。
- 传统的分布式文件系统大多通过元服务器来存储元数据,元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高,但是也存在一些缺陷。例如单点故障。一旦元数据服务器出现故障,即使节点具备再高的冗余性,整个存储系统也将崩溃。而GlusterFS分布式文件系统是基于无元服务器的设计,数据横向扩展能力强,具备较高的可靠性及存储效率。
- GlusterFs同时也是Scale-Out(横向扩展)存储解决方案Gluster的核心,在存储数据方面具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。
2、分布式文件系统
文件系统组成:
- 文件系统接口
- 对对象管理的软件集合
- 对象及属性
文件系统作用:
从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取。
文件系统的挂载使用:
从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。
具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取。
3、GFS组成
GFS是由三部分组成(组成)
- 存储服务器:GFS-server端
功能模块的划分–》
①卷的类型(使用分布式、复制、条带)
②存储管理(卷的创建、启用、关闭)
③I/O调用(存储后、读取数据,如何读取)
④与GFS-client端对接 - 客户端:GFS-client端
①用户通过用户状态模式下,存储数据(写入数据)
②写入的数据,使用GFS挂载的形式完成(网络挂载samba/NFS)
③数据的写入会由GFS-client转存到GFS-server端(对应的卷中) - NFS/Samba 存储网关组成:网络通讯
Infinlband——》IB
RDMA——》面向连接传输协议——》数据完整性(丢包率低)
TCP/IP
RDMA——》以后的服务中可以做为跨节点共享内存资源的协议
Infinlband:网络协议,与TCP/IP相比,TCP/IP具有转发丢失数据包的特性,基于此通讯协议可能导致通讯变慢,而IB使用基于信任的、流程制的机制来确保连接完整性,数据包丢失几率小。
RDMA:负责数据传输 ,有一种数据传输协议(功能:为了解决传输中客户端与服务端数据处理的延迟)。
POSIX:可移植操作系统接口,主要解决不同操作系统的移植性。
客户端的定位比较重要,因为他是无元数据服务器的
PS:元数据服务器的作用:存储元数据,帮用户定位文件的位置、索引等信息
有元数据服务器文件系统中,如果元数据损坏,会直接导致文件系统不可用
GFS数据流向:
加粗样式① mysql 服务器——》存储数据到挂载目录中/data
② mysql 数据会优先交给内核的文件系统处理——》GFS客户端处理(本地)
③ GFS 客户端会和GFS 服务端进行交互,GFS服务端接收到数据,然后再通过挂载的卷的类型,对应保存在后端block块节点服务器上。
GlusterFS 特点
- 扩展性和高性能
- 高可用性
- 全局统一命名空间
- 弹性卷管理
- 基于标准协议
GFS 的架构存储服务器,存储节点信息
客户端是一个人很关键的组件,用于定位分布式中的文件定位索引
- GFS 提供了一个全局统一命名空间,此命名空间提供了一个API,此API是用户访问GFS服务器中的唯一入口。
- 弹性卷管理:RAIN(基于容错、读写性能等技术)可以在分布式文件系统之上可以使用RAID卷的集中管理。
- 基于标准协议:客户端和存储服务器交互需要借助网络,而相关的网络协议包括TCP/IP协议。
GFS相关术语:
- Brick:存储服务器,实际存储用户数据的服务器
- Volume:本地文件系统的“分区”
- FUSE:用户空间的文件系统(类比EXT4),“这是一个伪文件系统”,用户端的交互模块。以本地文件系统为例,用户想要写一个文件,会借助于EXT4文件系统,然后把数据卸载磁盘上。而如果是远端的GFS,客户端的请求则应该交给FUSE(伪文件系统),就可以实现跨界点存储在GFS上。
- VFS:虚拟端口,内核态的虚拟文件系统,用户是先提交请求交给VFS,然后VFS交给FUSE,再交给GFS客户端,最后由客户端交给远端的存储
- Glusterd
小结:使用GFS会使用到以上的虚拟文件系统。
4、模块化堆栈式结构
- 模块化、堆栈式的架构(堆栈式:AUFS叠加式文件系统,/a /b /c 组合挂载到/mnt上)
- 通过对模块化的组合,实现复杂的功能
模块化:类似Linux 编译安装,很多功能都可以做定制的,通常都是通过软件开发的方式封装为模块,按需使用/不适用。
GlusterFS也是这个思想,把功能封装为一个个模块,通过加载/调用/启用的方式就可以对应的功能。
堆栈式结构设计:通过对模块不同功能的组合来实现复杂功能。
设定:mysql 将数据存储在/data中,最终需要存储在GFS-server端中的数据节点上
5、GlusterFS 工作流程
客户端在本地发出读写请求,然后交由VFS的API接受请求,接受请求后会交给FUSE(内核伪文件系统),FUSE可以模拟操作系统,所以可以对文件系统进行转存,转存的设备位置为:/dev/fuse(用于传输的设备–虚拟设备文件)——》交给GFS客户端,client 会根据配置文件对数据进行处理,然后再通过TCP 网络发送到GFS 服务端,并且将数据写到服务器存储设备上。
在多个后端存储中如何定位文件:
- 使用弹性HASH算法来解决数据定位、索引、寻址的功能
- 先通过HASH算法对数据可以得到一个值(改值有2的32次方个组合)
- 每个数据对应了0-2的32次方的一个值
平均分配的好处:
- 当数据量越来越大的时候,相对每个存储点的数据量(几率)是相等的
- 而如果考虑到单点故障问题,当数据存储再c存储节点,对此GFS是有备份机制的,默认3备份,所以GES本身的机制会对数据产生冗余,以此解决单单点故障
小结:
- GlusterFS的特点
- 用户访问GFS的流程
- 弹性HASH算法原理
二、GlusterFS 的卷类型
GlusterFs支持七种卷,即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。
1、分布式卷
1)分布式卷的介绍
- 文件通过HASH算法分布到所有Brick Server. 上,这种卷是GlusterFS 的默认卷;以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的RAIDO,不具有容错能力。
- 在该模式下,并没有对文件进行分块处理,文件直接存储在某个Server节点上。
- 由于直接使用本地文件系统进行文件存储,所以存取效率并没有提高,反而会因为网络通信的原因而有所降低。
示例:
File1 和File2存放在Server1, 而File3存放在Server2,文件都是随机存储,一个文件(如File1)要么在Server1上,要么在Server2. 上,不能分块同时存放在Server1和Server2上。
2)分布式卷具有如下特点:
- 文件分布在不同的服务器,不具备冗余性。
- 更容易和廉价地扩"展卷的大小。
- 单点故障会造成数据丢失。
- 依赖底层的数据保护。
#创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1 : /dir1、server2:/dir2 和server3:/dir3中.
gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3
2、条带卷
1)条带卷的介绍
- 类似RAID0,文件被分成数据块并以轮询的方式分布到多个BrickServer上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高,但是不具备冗余性。
#示例原理:
File 被分割为6段,1、3、5放在Server1, 2、4、6放在Server2。
2)条带卷特点
- 数据被分割成更小块分布到块服务器群中的不同条带区。
- 分布减少了负载且更小的文件加速了存取的速度。
- 没有数据冗余。
#创建了一个名为stripe-volume的条带卷,文件将被分块轮询的存储在Server1 :/dir1和Server2:/dir2两个Brick中
gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
3、复制卷
1)复制卷的介绍
- 将文件同步到多个Brick 上,使其具备多个文件副本,属于文件级RAID 1,具有容错能力。因为数据分散在多个Brick 中,所以读性能得到很大提升,但写性能下降。
- 复制卷具备冗余性,即使一个节点损坏,也不影响数据的正常使用。但因为要保存副本,所以磁盘利用率较低。
#创建名为rep-volume的复制卷,文件将同时存储两个副本,分别在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
4、分布式条带卷
1)分布式条带卷的介绍
- BrickServer数量是条带数(数据块分布的Brick数量)的倍数,兼具分布式卷和条带卷的特点。
- 主要用于大文件访问处理,创建一个分布式条带卷最少需要4台服务器。
#示例原理:
Filel和File2通过分布式卷的功能分别定位到Server1和Server2。
在Server1中,File1被分割成4段,其中 1、3在Server1中的exp1 目录中,2、4在Server1中的exp2 目录中。
在Server2中,File2 也被分割成4段,其中1、3在 Server2中的exp3目录中,2、4在Server2 中的exp4目录中。
#创建一个名为dis-stripe的分布式条带卷,配置分布式的条带卷时,卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)。
Brick的数量是4 ( Server1:/dir1、 Server2: /dir2、 Server3:/dir3 和Server4:/dir4),条带数为2 (stripe 2 )
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
创建卷时,存储服务器的数量如果等于条带或复制数,那么创建的是条带卷或者复制卷;如果存储服务器的数量是条带或复制数的2倍甚至更多,那么将创建的是分布式条带卷或分布式复制卷。
5、分布式复制卷
1)分布式复制卷的介绍
- Brick Server数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。
#示例原理:
File1和File2 通过分布式卷的功能分别定位到Server1 和Server2。
在存放File1 时,File1 根据复制卷的特性,将存在两个相同的副本,分别是Server1 中的exp1 目录和Server2 中的exp2目录。
在存放File2时,File2 根据复制卷的特性,也将存在两个相同的副本,分别是Server3 中的exp3 目录和Server4 中的exp4 目录。
#创建一个名为dis-rep的分布式条带卷,配置分布式的复制卷时,卷中Brick所包含的存储服务器数必须是复制数的倍数(>=2倍)。
Brick 的数量是4 (Server1:/dir1、 Server2:/dir2、 Server3:/dir3 和Server4:/dir4),复制数为2 (replica 2)
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2: /dir2 server3:/dir3 server4:/dir4
6、条带复制卷
1)条带复制卷的介绍
- 类似RAID10,同时具有条带卷和复制卷的特点。
7、分布式条带复制卷
1)分布式条带复制卷的介绍
- 三种基本卷的复合卷,通常用于类Map Reduce 应用。
三、GlusterFS 部署方法
1.环境准备工作:
服务器类型 | 系统和IP地址 | 需要安装的组件 |
---|---|---|
node1服务器 | CentOS7.4(64 位) | 192.168.237.123 |
node2服务器 | CentOS7.4(64 位) | 192.168.237.124 |
node3服务器 | CentOS7.4(64 位) | 192.168.237.125 |
node4服务器 | CentOS7.4(64 位) | 192.168.237.126 |
2.关闭所有节点服务器的防火墙和SElinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
systemctl status firewalld.service
3.由于节点服务器的操作都一样,这里我仅展示node1的操作步骤
① 编写脚本
[root@node1 ~] # vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq