Glusterfs概述
开源的分布式文件系统,由存储服务器,客户端以及nfs/samba存储网关组成,无元数据服务器
- FS是文件系统—>组成:文件系统接口,对对象管理的软件集合,对象及属性
特点
扩展性和高性能
高可用性
全局统一命名空间
弹性卷管理
基于标准协议
Glusterfs优缺点
GlusterFS 的亮点
采用堆叠式设计,dht/afr/strip组合出七种数据放置策略,何其优雅; 底层存储直接用文件,glusterfs崩溃了上find/cat/rm/ls修复,水晶般透明;命令行控制台很好用,分布式系统集中管理;posix /cifs/nfs/swift/s3支持,本地同步复制,跨地域异步复制,动态扩容,自动修复,回收站,快照,配额限制,线性扩展,InfiniBand 支持。
GlusterFS 的不足
除了不大稳定外,strip按文件而非按块切太浪费,dht按文件名切分容易导致数据分布不均,不支持文件级别复制份数,修复依赖文件访问触发(已改进,有 self heal daemon 了,每隔十分钟触发一次),数据放置策略死板,不考虑可用空间和系统负载要求brick大小一致(似乎已改进),不支持用户认证/映射/授权。
glusterfs术语
1、Brick(块存储服务器)实际存储用户数据的服务器
2、Volume本地文件系统的"分区"
3、FUSE用户空间的文件系统(类别EXT4),”这是一个伪文件系统“,用户端的交换模块
4、VFS(虚拟端口)内核态的虚拟文件系统,用户是提交请求给VFS 然后VFS交给FUSH,再交给GFS客户端,最后由客户端交给远端的存储
5、Glusterd(服务)是运行再存储节点的进程(客户端运行的是gluster client)GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成
- 小结:使用GFS会使用到以上的虚拟文件系统
构成
模块化堆栈式架构
模块化、堆栈式的架构
通过对模块的组合,实现复杂的功能
1、API:应用程序编程接口
2、模块化:每个模块可以提供不同的功能
3、堆栈式:同时启用多个模块,多个功能可以组合,实现复杂的功能
1、I/O cache:I/O缓存
2、read ahead:内核文件预读
3、distribute/stripe:分布式、条带化
4、Gige:千兆网/千兆接口
5、TCP/IP:网络协议
6、InfiniBand:网络协议,与TCP/IP相比,TCP/IP具有转发丢失数据包的特性,基于此通信协议可能导致通信变慢,而IB使用基于信任的、流控制的机制来保证连接完整性
7、RDMA:负责数据传输,有一种数据传输协议,功能:为了解决传输过程中客户端与服务器端数据处理的延迟
在使用glusterfs提供的存储服务之前,需要先挂载存储池,向挂载点写数据,会经过fuse内核模块传给客户端,客户端检查存储池的类型,然后计算数据所在服务器 ,最后通过socket或rdma与服务器通信,如图2所示
上图
1、外来一个请求,例:用户端申请创建一个文件,客户端或应用程序通过GFS的挂载点访问数据
2、linux系统内容通过VFSAPI收到请求并处理
3、VFS将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client端收到数据后,会根据配置文件的配置对数据进行处理
5、再通过网络,将数据发送给远端的ClusterFS server,并将数据写入到服务器储存设备上
6、server再将数据转交给VFS伪文件系统,再由VFS进行转存处理,最后交给EXT3
后端存储如何定位文件
弹性HASH算法
通过HASH算法得到一个固定长度的数据(这里是32位整数)
通常情况下,不同数据得到的结果是不同的
为了解决分布式文件数据索引、定位的复杂程度,而使用了HASH算法来辅助
GFS支持的七种卷
1、分布式卷(默认):文件通过HASH算法分布到所有Brick Server上,这种卷是GFS的基础;以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,并不具备容错能力,属于文件级RAID 0
2、条带卷(默认):类似RAID 0,文件被分成数据库并以轮询的方式分布到多个Brick Server上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高
3、复制卷(Replica volume):将文件同步到多个Brick上,使其具备多个文件副本,属于文件级RAID 1,具有容错能力。因为数据分散在多个Brick中,所以读性能得到很大提升,但写性能下降
4、分布式条带卷(Distribute Stripe volume):Brick Server数量是条带数(数据块分布的Brick数量)的倍数,兼具分布式卷和条带的特点
5、分布式复制卷(Distribute Replica volume):Brick Server数量是镜像数(数据副本 数量)的倍数,兼具分布式卷和复制卷的特点
6、条带复制卷(Stripe Replca volume):类似RAID 10,同时具有条带卷和复制卷的特点
7、分布式条带复制卷(Distribute Stripe Replicavolume):三种基本卷的复合卷通常用于类Map Reduce应用