Glusterfs分布式文件系统概述

Glusterfs概述

开源的分布式文件系统，由存储服务器，客户端以及nfs/samba存储网关组成，无元数据服务器

• FS是文件系统—>组成：文件系统接口，对对象管理的软件集合，对象及属性

特点

扩展性和高性能
高可用性
全局统一命名空间
弹性卷管理
基于标准协议

Glusterfs优缺点

GlusterFS 的亮点

采用堆叠式设计，dht/afr/strip组合出七种数据放置策略，何其优雅； 底层存储直接用文件，glusterfs崩溃了上find/cat/rm/ls修复，水晶般透明；命令行控制台很好用，分布式系统集中管理；posix /cifs/nfs/swift/s3支持，本地同步复制，跨地域异步复制，动态扩容，自动修复，回收站，快照，配额限制，线性扩展，InfiniBand 支持。

GlusterFS 的不足

除了不大稳定外，strip按文件而非按块切太浪费，dht按文件名切分容易导致数据分布不均，不支持文件级别复制份数，修复依赖文件访问触发(已改进，有 self heal daemon 了，每隔十分钟触发一次)，数据放置策略死板，不考虑可用空间和系统负载要求brick大小一致(似乎已改进)，不支持用户认证/映射/授权。

glusterfs术语

1、Brick（块存储服务器）实际存储用户数据的服务器
2、Volume本地文件系统的"分区"
3、FUSE用户空间的文件系统（类别EXT4），”这是一个伪文件系统“，用户端的交换模块
4、VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS 然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远端的存储
5、Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成

• 小结：使用GFS会使用到以上的虚拟文件系统

构成

模块化堆栈式架构

模块化、堆栈式的架构
通过对模块的组合，实现复杂的功能
1、API：应用程序编程接口
2、模块化：每个模块可以提供不同的功能
3、堆栈式：同时启用多个模块，多个功能可以组合，实现复杂的功能

1、I/O cache：I/O缓存

2、read ahead：内核文件预读

3、distribute/stripe：分布式、条带化

4、Gige：千兆网/千兆接口

5、TCP/IP：网络协议

6、InfiniBand：网络协议，与TCP/IP相比，TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的、流控制的机制来保证连接完整性

7、RDMA：负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟

在使用glusterfs提供的存储服务之前，需要先挂载存储池，向挂载点写数据，会经过fuse内核模块传给客户端，客户端检查存储池的类型，然后计算数据所在服务器 ，最后通过socket或rdma与服务器通信，如图2所示

上图
1、外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据

2、linux系统内容通过VFSAPI收到请求并处理

3、VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端

4、GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理

5、再通过网络，将数据发送给远端的ClusterFS server，并将数据写入到服务器储存设备上

6、server再将数据转交给VFS伪文件系统，再由VFS进行转存处理，最后交给EXT3
后端存储如何定位文件
弹性HASH算法
通过HASH算法得到一个固定长度的数据（这里是32位整数）
通常情况下，不同数据得到的结果是不同的

为了解决分布式文件数据索引、定位的复杂程度，而使用了HASH算法来辅助

GFS支持的七种卷

1、分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件级RAID 0

2、条带卷（默认）：类似RAID 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高

3、复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降

4、分布式条带卷（Distribute Stripe volume）：Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼具分布式卷和条带的特点

5、分布式复制卷（Distribute Replica volume）：Brick Server数量是镜像数（数据副本 数量）的倍数，兼具分布式卷和复制卷的特点

6、条带复制卷（Stripe Replca volume）：类似RAID 10，同时具有条带卷和复制卷的特点

7、分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类Map Reduce应用