GlusterFS分布式文件系统群集

GlusterFS分布式文件系统群集

本章资源请访问：
https://download.csdn.net/download/weixin_54373617/18742254

一： GlusterFS概述

1.1：GlusterFS简介

GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据,GlusterFS 基于可堆叠的用户空间以及无元数据服务器的分布式存储设计，可为各种不同的数据负载提供优异的性能。

GlusterFS 主要由存储服务器（Brick Server）、客户端及 NFS/Samba 存储网关（可选，根据需要选择使用）组成

GlusterFS 架构中最大的设计特点是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率非常高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性及存储效率。GlusterFS 支持 TCP/IP 和 InfiniBandRDMA 高速网络互联，客户端可通过原生 GlusterFS 协议访问数据，其他没有运行 GlusterFS 客户端的终端可利用 NFS/CIFS 标准协议通过存储网关访问数据。

1.2：Glusterfs特点

1：扩展性和高性能

GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。

Scale-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加，支持10GbE和InfiniBand等高速网络互联。

Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，GlusterFS 采用弹性哈希算法在存储池中定位数据，放弃了传统的通过元数据服务器定位数据。GlusterFS 中可以智能地定位任意数据分片（将数据分片存储在不同节点上），不需要查看索引或者向元数据服务器查询。这种设计机制实现了存储的横向扩展，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。

2：高可用性

GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增量的方式在后台执行，几乎不会产生性能负载。GlusterFS没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统（如EXT3、ZFS）来存储文件，因此数据可以使用各种标准工具进行复制和访问。

3：弹性卷管理

数据储存在逻辑卷中，逻辑卷可以从虚拟化的物理存储池进行独立逻辑划分而得到。存储服务器可以在线进行增加和移除，不会导致应用中断。逻辑卷可以在所有配置服务器中增长和缩减，可以在不同服务器迁移进行容量均衡，或者增加和移除系统，这些操作都可在线进行。文件系统配置更改也可以实时在线进行并应用，从而可以适应工作负载条件变化或在线性能调优。

4：基于标准协议。

Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准兼容。现有应用程序不需要做任何修改就可以对Gluster 中的数据进行访问，也可以使用专用 API 进行访问（效率更高），这在公有云环境中部署 Gluster 时非常有用，Gluster 对云服务提供商专用 API 进行抽象，然后提供标准 POSIX 接口。

5：全局统一命名空间

全局统一命名空间将所有的存储资源聚集成一个单一的虚拟存储池，对用户和应用屏蔽了物理存储信息。存储可以根据生产环境中的需要进行弹性扩展或收缩，在多节点场景中，全局同意明明还可以给予不同节点做负载均衡，大大提高存取效率。

1.3：术语简介

GlusterFS：是一个开源的分布式文件系统。

Brick（存储块）：指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS 中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成，表示方法为 SERVER:EXPORT，如 192.168.1.4:/ data/mydir/。

Volume（逻辑卷）：一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备，类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。

FUSE（Filesystem inUserspace）：是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。

VFS：内核空间对用户空间提供的访问磁盘的接口。

Glusterd（后台管理进程）：在存储群集中的每个节点上都要运行。

**

二：GFS的工作原理

2.1：GFS的工作流程

（1）客户端或应用程序通过GFS的挂载点访问数据

（2）Linux系统内核通过VFS API收到请求并处理

（3）VFS将数据递交给FUSE内核文件系统，并向系统注册一个实际的文件系统FUSE，而FUSE文件系统则是将数据通过/dev。Fuse设备文件递交给了GFS的client段。可以将FUSE文件系统理解为一个代理。

（4）GFS client收到数据后，client根据配置文件对数据进行处理

（5）经过GFS client处理后，通过网络将数据传递至远端的GFS Server，并且将数据写入服务器存储设备。

2.2：弹性HASH算法

GlusterFS目前使用Davies-Meyer算法计算文件名hash值，获得一个32位整数。Davies-Meyer算法具有非常好的hash分布性，计算效率很高，假设逻辑卷中的存储单元Brick有N个，则32位整数空间被平均划分为N个连续子空间，每个空间分别映射到一个存储单元Brick，计算得到的32位hash值就会被投射到一个存储单元Brick。

弹性 HASH 算法的优点表现如下：

保证数据平均分布在每个 Brick 中。

解决了对元数据服务器的依赖，进而解决了单点故障及访问瓶颈。

现在假设创建了一个包含四个 Brick 节点的 GlusterFS 卷，在服务端的 Brick 挂载目录会给四个 Brick 平均分配 232的区间的范围空间，GlusterFS hash 分布区间是保存在目录上而不是根据机器去分布区间。

在卷中创建四个文件，分别是 test-file1、test-file2、test-file3、test-file4。在访问文件时，通过快速Hash函数计算出对应的HASH值(232范围的数值)，然后根据计算出来的HASH值所对应的子空间散列到服务器的 Brick 上

**

三：GlusterFS的卷类型

3.1：卷的类型

1：基本卷：

(1) distribute volume：分布式卷

文件通过hash算法分布到所有brick server上，这种卷是glusterfs的基础和最大特点；实只是扩大的磁盘空间，如果有一个磁盘坏了，对应的数据也丢失，文件级RAID 0，不具有容错能力。

(2) stripe volume：条带卷

类似RAID0，文件分成数据块以Round Robin方式分布到brick server上，文件储存以数据块为单位，支持超大文件，文件越大读取效率越高；

(3) replica volume：复制卷

复制卷文件同步复制到多个brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力，因为数据分散在多个 Brick 中，写性能下降，读性能提升。

2：复合卷：

(4) distribute stripe volume：分布式条带卷

分布式条带卷brickserver数量是条带数条带数（数据块分布的 Brick 数量）的倍数，兼具distribute和stripe卷的特点；

(5) distribute replica volume：分布式复制卷

brick server数量是镜像数（数据副本数量）的倍数，兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。

(6) stripe replica volume： 条带复制卷
条带复制卷类似RAID 10同时具有条带卷和复制卷的特点

(7) distribute stripe replicavolume：分布式条带复制卷
分布式条带复制卷三种基本卷的复合卷通常用于类Map Reduce应用

实验部分

实验top

client（客户端）192.168.10.105

node（节点）1 192.168.10.101

node（节点）2 192.168.10.102

node（节点）3 192.168.10.103

node（节点）4 192.168.10.104

**

下面是部署群集的步骤。

1．准备环境（以node1为例，其他节点步骤相同，请自行配置）

在所有节点上执行以下操作。

**一、**开启 4 台虚拟机，根据表 2-1为node节点添加相应数量和大小的磁盘，并重启系统，

**二、**先使用 fdisk 命令创建分区，再使用 mkfs 命令对分区进行格式化，创建相应的挂载目录，并将格式化的磁盘挂载到相应的目录中，最后修改/etc/fstab 配置文件，使其永久生效，还要修改/etc/hosts文件。

1、修改主机名

[root@localhost ~]# hostname node1 //修改主机名为node1-4

[root@localhost ~]# bash //使修改的主机名生效

2、查看所有节点添加的磁盘

[root@localhost ~]# fdisk -l //查看添加的网卡

磁盘 /dev/sda：42.9 GB, 42949672960 字节，83886080 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x000abf3d

设备 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 83886079 40893440 8e Linux LVM

磁盘 /dev/sdb：3221 MB, 3221225472 字节，6291456 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节

磁盘 /dev/sdc：4294 MB, 4294967296 字节，8388608 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节

磁盘 /dev/sde：6442 MB, 6442450944 字节，12582912 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节

磁盘 /dev/sdf：7516 MB, 7516192768 字节，14680064 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节

3、为所有节点的新磁盘分区用fdisk命令为每个磁盘分区

[root@localhost ~]# fdisk /dev/sdb

欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。

Device does not contain a recognized partition table
使用磁盘标识符 0x677b9c9b 创建新的 DOS 磁盘标签。

命令(输入 m 获取帮助)：p

磁盘 /dev/sdb：3221 MB, 3221225472 字节，6291456 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x677b9c9b

设备 Boot Start End Blocks Id System

命令(输入 m 获取帮助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
分区号 (1-4，默认 1)：1
起始 扇区 (2048-6291455，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-6291455，默认为 6291455)：
将使用默认值 6291455
分区 1 已设置为 Linux 类型，大小设为 3 GiB

命令(输入 m 获取帮助)：w
The partition table has been altered!

Calling ioctl() to re-read partition table.
正在同步磁盘。

[root@localhost ~]# fdisk /dev/sdc

欢迎使用 fdisk (util-linux 2.23.2)。

更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。

Device does not contain a recognized partition table
使用磁盘标识符 0x8efb8e2e 创建新的 DOS 磁盘标签。

命令(输入 m 获取帮助)：p

磁盘 /dev/sdc：4294 MB, 429496729