GlusterFS分布式文件系统理论

知识拓展

以前一开始只有单个磁盘，是多少就用多少，为了解决这个问题，让存储空间更加灵活的应用，我们多了多次盘管理，这种我们简称磁盘阵列
磁盘整列以卷组的方式，如：lvm

目前有两中磁盘格式：MBR

注意：数据只写在主分区和逻辑分区上，而扩展分区是不写数据的，扩展分区只给你提供一个平台环境让你在上面去做逻辑分区的划分，谁能被格式化，谁才能被写数据

还有一种：GPT，它最多可以有128个分区，某些生产环境就是用的这个

1.Windows中的各个卷

跨区卷：扩展性强，容量不受限制，想用多少用多少
带区卷：简称条带，读写速度高，数据同时往两块磁盘写，要求两个磁盘容量必须相同 （生产环境叫reid 0）
但是上面两个卷有个问题，只要有一块磁盘损坏，就全都不能使用
镜像卷：可靠性高，安全性高，数据不易丢失，两块磁盘容量必须相同，但是总容量是已有磁盘的一半(生产环境叫raid 1)

多个磁盘演变成网络磁盘：NFS（我的存储空间来自于另外一个存储服务器）

后来，又想远程，还想做磁盘阵列，这个时候GFS就出来了

###2. GlusterFS概述

依赖于RDMA，或者TCP/IP，相当于通信协议，支持分布式存储
所有的分布式都是通过网关进行管理的，只不过是被隐藏起来你看不见

客户端需要存储空间，会先把请求转发给网关，网关中提供类似NFS，samba的协议，把这个所谓的请求，去转发给相对应的存储空间（很多存储块），也就是各个节点，每个节点提供出一些存储空间，视作一个整体，这中操作依赖于IO

GFS是一个集群，集群中有多个节点，提供多个存储空间，这些节点不需要放一起，只要保证能互相通信就可以了，只要你提供网关，我就可以找你的存储资源，说白了就相当于百度云盘等

RDMA好处是去中心化

3.GlusterFS特点

扩展性和高性能，可以无限扩展，只要不格子够
高可用
全局统一命名空间
弹性卷管理
基于标准协议:RDMA/TCP

命名空间是什么意思：只要打开里面的名字，名字里面的空间都是指向存储集群，就像局域网，虽然分布在不同位置，但视为一个整体，这个整体就叫做命名空间

4.GlusterFS 术语

Brick	存储节点，存储块
Volume	卷组
FUSE	基本上客服端用的服务
VFS	文件系统
Glusterd	集群

5.GlusterFS工作原理

VFS都需要用到
Fuse：客户终端，处理里面的流程，相当于一个设备，管理对应的设备文件
VFS交给fuse,fuse管理对应的设备（/dev/fuse），设备把请求交给client代理端，client直接通过协议对接server

6.弹性HASH算法

弹性HASH算法

通过HASH算法得到一个32位的整数
划分为N个连续的子空间，每个空间对应一个Brick
弹性HASH算法的优点

弹性HASH算法的优点

保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖，进而解决了单点故障以

GlusterFS的卷类型

1.分布式卷

什么是分块：一个大文件分成多块去存储
分块处理不是轮询，是随机存储的
常用xfs，其他都会被淘汰，因为xfs能够支持更大的文件存储+
通过Hash知道你文件存去什么位置了

1.1分布式卷的特点与创建

文件分布在不同的服务器,不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护

所以，分布式卷不安全，但是可无线扩容

#创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:ldir2和server3:/dir3中

#gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

2.条带卷

读写速度高，数据同时往两块磁盘写，要求两个磁盘容量必须相同
条带卷一般用于大文件存储，速度特快，同时存储，相当于raid0

2.1条带卷的特点以及创建

特点

数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余

###创建条带卷###
创建了一个名为Stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

# gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3.复制卷

木桶效应意思：空间不一致时，以最小问参考，保证数据能够同时有多份
复制卷相当于RAID1

可靠性高，安全性高，数据不易丢失，两块磁盘容量相同，但是总容量是已有磁盘的一半(生产环境叫raid 1)

3.1复制卷的特点以及创建

特点

卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少有两个块服务器或更多服务器
具备冗余性

##创建复制卷##
创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

t gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

4.分布式条带卷

4.1分布式条带卷创建方式

创建分布式条带卷

##创建了名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

# gluster volume create dis-stripe stripe 2transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

5.分布式复制卷

5.1创建分布式复制卷

##创建分布式复制卷
创建名为dis-rep的分布式条带卷，配置分布式复制卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍)
# gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

实验

点击此篇博客带你发现新大陆