GlusterFS部署

@TOGlusterFS

一.GlusterFS概述

1.1简介

Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中Glusterfs能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储. 

Glusterfs由存储服务器、客户端以及NFS/Samba存储网关组成,通过TCP/IP或InfiniBand RDMA网络链接将客户端的存储资块源聚集在一起,使用单一的全局命名空间来管理数据,磁盘和内存资源. 

Glusterfs基于堆叠的用户空间设计,可以为不同的工作负载提供高优的性能

1.2特点

1.扩展性和高性能 
 GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加，支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希（Elastic Hash）解除了GlusterFS对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问 
2.高可用性
 GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增量的方式在后台执行，几乎不会产生性能负载。GlusterFS没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统（如EXT3、ZFS）来存储文件，因此数据可以使用各种标准工具进行复制和访问。
3.全局统一命名空间
 全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩。当存储虚拟机映像时，存储的虚拟映像文件没有数量限制，成千虚拟机均通过单一挂载点进行数据共享。虚拟机I/O可在命名空间内的所有服务器上自动进行负载均衡，消除了SAN环境中经常发生的访问热点和性能瓶颈问题。
4.弹性卷管理
  数据储存在逻辑卷中，逻辑卷可以从虚拟化的物理存储池进行独立逻辑划分而得到。存储服务器可以在线进行增加和移除，不会导致应用中断。逻辑卷可以在所有配置服务器中增长和缩减，可以在不同服务器迁移进行容量均衡，或者增加和移除系统，这些操作都可在线进行。文件系统配置更改也可以实时在线进行并应用，从而可以适应工作负载条件变化或在线性能调优。
5.基于标准协议
  Gluster存储服务支持NFS, CIFS, HTTP, FTP以及Gluster原生协议，完全与POSIX标准兼容。现有应用程序不需要作任何修改或使用专用API，就可以对Gluster中的数据进行访问。这在公有云环境中部署Gluster时非常有用，Gluster对云服务提供商专用API进行抽象，然后提供标准POSIX接口。

1.3GlusterFS术语

3.1Brick（砖）
  Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
3.2 Volume（卷）
  一组bricks的逻辑集合（卷）
3.3 FUSE（内核模块）
   Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
3.4 VFS（虚拟端口）
   虚拟文件系统
3.5 Glusterd（服务，程序)
   Gluster management daemon，要在trusted storage pool中所有的服务器上运行。
3.6Node
    一个拥有若干brick的设备
3.7 Client
    挂载了GFS卷的设备
3.8 RDMA
    远程直接内存访问，支持不通过双方的OS进行直接内存访问。
3.9 RRDNS
    round robin DNS是一种通过DNS轮转返回不同的设备以进行负载均衡的方法
3.10 Self-heal
    用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。
3.11 Split-brain
    脑裂:就是产生了两个leader，导致集群行为不一致了
3.12Volfile
     glusterfs进程的配置文件，通常位于/var/lib/glusterd/vols/volname

1.4模块化堆栈式架构

###

1、模块化、堆栈式的架构
2、通过对模块的组合，实现复杂的功能
GlusterFS采用模块化、堆栈式的架构，可通过灵活的配置支持高度定制化的应用环境，比如大文件存储、海量小文件存储、云存储、多传输协议应用等。每个功能以模块形式实现，然后以积木方式进行简单的组合，即可实现复杂的功能。比如，Replicate模块可实现RAID1，Stripe模块可实现RAID0，通过两者的组合可实现RAID10和RAID01，同时获得高性能和高可靠性 

二.GlusterFS工作原理

2.1弹性HASH算法

1、通过hash算法得到一个32位的整数
2、划分为N个连续的子空间，每个空间对应一个Brick
3、弹性hash算法的优点
    保证数据平均分布在每一个Brick中
    解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

2.1GlusterFS工作模式

 Application：客户端或应用程序通过GlusterFSync的挂载点访问数据
VFS：linux系统内核通过VFS API收到请求并处理
FUSE ： VFS 将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server，并且写入到服务器存储设备上 

三、GlusterFS的卷类型

分布式卷

条形卷

复制卷

分布式条带卷

分布式复制卷

条带复制卷

分布式条带复制卷

3.1、分布式卷

1、没有对文件进行分块处理
2、通过扩展文件属性保存hash值
3、支持的底层文件系统有ext4、zfs、xfs等
4、分布式券的特点
文件分布在不同的服务器，不具备冗余性
可以