GFS分布式文件系统

GlusterFS 是一个开源的分布式文件系统，同时也是 Scale-Out 存储解决方案 Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展不同的节点可以支持数 PB 级别的存储容量。GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将分散的存储资源汇聚在一起，统一提供存储服务，并使用单一全局命名空间来管理数据。GlusterFS 基于可堆叠的用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。

GlusterFS主要由存储服务器(Brick Server)、客户端及 NFS/Samba 存储网关(可选,根据需要选择使用)组成，如图2.1所示。

GlusterFS 架构中最大的设计特点是没有元数据服务器组件,这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率非常高,但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统是基于无元服务器的设计,数据横向扩展能力强，具备较高的可靠性及存储效率。GlusterFS 支持TCP/IP 和 InfiniBandRDMA 高速网络互联，客户端可通过原生 GlusterFS 协议访问数据，其他没有运行 GlusterFS 客户端的终端可利用 NFS/CIFS 标准协议通过存储网关访问数据。

2.GlusterFs 的特点

GlusterFS 具有如下特点:

扩展性和高性能。GlusterFS利用双重特性来提供高容量存储解决方案。

Scale-Out 架构通过增加存储节点的方式来提高存储容量和性能(磁盘、计算和I/0 资源都可以独立增加)，支持 10GbE 和 InfiniBand 等高速网络互联。
Gluster 弹性哈希(Elastic Hash)解决了 GlusterFS对元数据服务器的依赖,GlusterFS采用弹性哈希算法在存储池中定位数据，放弃了传统的通过元数据服务器定位数据。GlusterFS中可以智能地定位任意数据分片(将数据分片存储在不同节点上)，不需要查看索引或者向元数据服务器查询。这种设计机制实现了存储的横向扩展，改善了单点故障及性能瓶颈，真正实现了并行化数据访问。
高可用性。GlusterFS通过配置某些类型的存储卷，可以对文件进行自动复制(类似于 RAID1)，即使某个节点出现故障，也不影响数据的访问。当数据出现不一致时，自动修复功能能够把数据恢复到正确的状态,数据的修复是以增量的方式在后台执行，不会占用太多系统资源。GlusterFS 可以支持所有的存储，因为它没有设计自己的私有数据文件格式，而是采用操作系统中标准的磁盘文件系统(如EXT3、XFS 等)来存储文件，数据可以使用传统访问磁盘的方式被访问。
全局统一命名空间。全局统一命名空间将所有的存储资源聚集成一个单一的虚拟存储池，对用户和应用屏蔽了物理存储信息。存储资源(类似于LVM)可以根据生产环境中的需要进行弹性扩展或收缩。在多节点场景中，全局统一命名空间还可以基于不同节点做负载均衡，大大提高了存取效率。
弹性卷管理。GlusterFS通过将数据储存在逻辑卷中，逻辑卷从逻辑存储池进行独立逻辑划分。逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡。文件系统配置也可以实时在线进行更改并应用，从而可以适应工作负载条件变化或在线性能调优。
基于标准协议。Gluster存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与POSIX标准兼容。现有应用程序不需要做任何修改就可以对Gluster 中的数据进行访问，也可以使用专用 API进行访问(效率更高)，这在公有云环境中部署 Gluster 时非常有用，Gluster 对云服务提供商专用 API进行抽象，然后提供标准 POSIX 接口。

3.GlusterFS 术语

Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成，表示方法为SERVER:EXPORT,如 192.168.1.4:/ data/mydir/.
Volume(逻辑卷):一个逻辑卷是一组 Brick的集合。卷是数据存储的逻辑设备，类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。
FUSE(FilesysteminUserspace):是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码
VFS:内核空间对用户空间提供的访问磁盘的接口。
Glusterd(后台管理进程):在存储群集中的每个节点上都要运行。

4.模块化堆栈式架构

图 2.2是 GlusterFS 机构细化图。GlusterFS采用模块化、堆栈式的架构，可以根据需求配置定制化的应用环境，如大文件存储、海量小文件存储、云存储、多传输协议应用等。通过对模块进行各种组合,即可实现复杂的功能。例如 Replicate 模块可实现 RAID1,Stripe模块可实现 RAIDO，通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

GlusterFS 是模块化堆栈式的架构设计，模块称为Translator，是 GlusterFS 提供的种强大机制，借助这种良好定义的接口可以高效简便地扩展文件系统的功能。

服务端与客户端的设计高度模块化的同时模块接口是兼容的，同一个translator 可同时在客户端和服务器加载。
GlusterFS 中所有的功能都是通过 translator 实现的,其中客户端要比服务端更复杂,所以功能的重点主要集中在客户端上。

二：GlusterFs 的工作原理

1.GlusterFs的工作流程

图 2.3 是 GlusterFS 数据访问的一个概要图。

GlusterFS 的工作流程如下:

(1)客户端或应用程序通过 GlusterFS的挂载点访问数据。
(2)Linux 系统内核通过 VFSAPI收到请求并处理。(3)VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的文件系统 FUSE而 FUSE 文件系统则是将数据通过/dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
(4)GlusterFS client 收到数据后，client 根据配置文件对数据进行处理。
(5)经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server并且将数据写入服务器存储设备。

2.弹性 HASH 算法

弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32位的整数范围的 hash 值，假设逻辑卷中有 N 个存储单位 Brick,则 32 位的整数范围将被划分为N个连续的子空间，每个空间对应一个 Brick。当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。弹性 HASH 算法的优点表现如下。

保证数据平均分布在每个 Brick 中。
解决了对元数据服务器的依赖，进而解决了单点故障及访问瓶颈

3.GlusterFs的卷类型

GlusterFS 支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷.条带复制卷和分布式条带复制卷，这七种卷可以满足不同应用对高性能、高可用的需求。

分布式卷(Distribute volume):文件通过 HASH 算法分布到所有 Brick Server 上,这种卷是 Glusterf 的基础:以文件为单位根据 HASH 算法散列到不同的 Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID O,不具有容错能力。
条带卷(Stripe volume):类似 RAID0，文件被分成数据块并以轮询的方式分布到多个 Brick Server 上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高。
复制卷(Replica volume):将文件同步到多个 Brick上，使其具备多个文件副本,属于文件级 RAID 1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降。
分布式条带卷(Distribute Stripe volume):Brick Server 数量是条带数(数据块分布的 Brick 数量)的倍数，兼具分布式卷和条带卷的特点。
分布式复制卷（ Distribute Replica volume ）： Brick Server 数量是镜像数（数据副本

数量）的倍数，兼具分布式卷和复制卷的特点
条带复制卷（ Stripe Replica volume ）：类似 RAID 10 ，同时具有条带卷和复制卷的

特点
- 分布式条带复制卷（ Distribute Stripe Replicavolume ）：三种基本卷的复合卷，通常
  
  用于类 Map Reduce 应用。
下面介绍几种重要的卷类型。