分布式存储——glusterfs集群

1.存储分类

NAS	SAN	DAS
基于IP网络	基于光纤通道	基于IP网络
传输文件	传输块	传输文件
提供带宽低	提供带宽高	提供带宽低
具有多种网络功能	无网络功能	网络视服务器状况
系统应用于存储分开	系统应用于存储分开	系统存储在一起
NAS自带共享功能	安装共享软件后可共享	依靠DAS存储服务器实现共享访问
数量越大越方便	数量越大，网络设备成本占比越高	只适用于小型系统

 2.存储类型

        a.块存储

        典型设备：磁盘阵列，硬盘，虚拟硬盘

        b.文件存储
        典型设备：FTP、NFS服务器，SamBa

        c.对象存储
        典型设备：内置大容量硬盘的分布式服务器

3.glusterfs简介

glusterfs是一个免费,开源的分布式文件系统（它属于文件存储类型）。

4.安装glusterfs

服务机客户机都要配置这个yum源
# vim /etc/yum.repos.d/glusterfs.repo
[glusterfs]
name=glusterfs
baseurl=https://buildlogs.centos.org/centos/7/storage/x86_64/gluster-4.1/
enabled=1
gpgcheck=0

提供存储服务器的安装
# yum makecache
# yum install -y glusterfs-server
# systemctl start glusterd
# systemctl enable glusterd
# systemctl status glusterd

5.搭建glusterfs集群

搭建glusterfs很人性化，只需要在某一个成员机上输入命令即可。

# gluster peer probe 集群成员IP1
# gluster peer probe 集群成员IP2
注：本机无需添加。Probe on localhost not needed
.....
查看
# gluster peer status

删除某成员
# gluster peer detach 集群成员IP

集群成员提供众筹文件夹（单独的分区挂载点，根分区或某目录，或者逻辑卷挂载点)
# mkdir /xxx/xxx/xxx

在任意一集群成员上执行命令
# gluster volume create 集群名 卷模式 份数 成员1IP:成员1文件夹路径 成员2IP:成员2文件夹路径 成员3IP:成员3文件夹路径 ... force

6.客户机使用glusterfs存储

使用存储服务器的安装
# yum install -y glusterfs glusterfs-fuse

# mount -t glusterfs 集群成员IP:集群名 挂载路径
集群成员IP填任意一个成员就行。

# df -h |tail -1
例如：
10.1.1.29:yuzt           8.0G  2.3G  5.8G  29% /test

可以多台客户机同时共享一个分布式存储。

同读同写，数据独立，数据同步。 

7.卷模式 

卷模式	描述
Replicated	复制卷，类似raid1
Striped(了解,新版本将会放弃此模式及其它相关的组合模式)	条带卷，类似raid0
Distributed	分布卷
Distribute Replicated	分布与复制组合
Dispersed	纠删卷，类似raid5,raid6

# gluster volume create 集群名 卷模式 份数 成员1IP:成员1文件夹路径 成员2IP:成员2文件夹路径 ... force

a.复制卷 Replicated

例如:提供目录/data/gv0/
# gluster volume create 集群名 replica 4 10.1.1.11:/data/gv0/ 10.1.1.12:/data/gv0/ 10.1.1.13:/data/gv0/ 10.1.1.14:/data/gv0/ force
提示：
volume create: 集群名: success: please start the volume to access data

可在任意一集群成员上查看集群状态
# gluster volume info 集群名

Volume Name: 集群名
Type: Replicate    类型
Volume ID: 768f9b8d-ad12-4856-b8aa-4aa2fbdeb3fe
Status: Created
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: 10.1.1.29:/test
Brick2: 10.1.1.30:/test
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off


启动存储卷：
# gluster volume start 集群名
volume start: 集群名: success

成功

复制模式，宕机实验：略

b. stripe 条带化

# gluster volume create 集群名 stripe 4 10.1.1.11:/data/gv0/ 10.1.1.12:/data/gv0/ 10.1.1.13:/data/gv0/ 10.1.1.14:/data/gv0/ force

c.distributed 分布式

不填模式默认是分布式。
# gluster volume create 集群名 storage1:/data/gv1/ ...同上... force

d.distributed-replica 分布式复制

# gluster volume create 集群名 replica 2 IP1:/data/gv2/ IP2:/data/gv2/ IP3:/data/gv2/ IP4:/data/gv2/ force 
4台机器分两个复制组，每组两台，组内默认分布式。

e. dispersed 校验模式

# gluster volume create 集群名 disperse 总数 redundancy 冗余数 IP1:/data/gv3/ IP2:/data/gv3/ IP3:/data/gv3/ ... IPn:/data/gv3/ force

redundancy不填默认为1。
最小要2台数据，1台冗余。所以总数要>=3

f. distributed-dispersed

# gluster volume create 集群名 disperse 后面总数的1/n redundancy 冗余数 IP1:/data/gv3/ IP2:/data/gv3/ IP3:/data/gv3/ ... IPnm:/data/gv3/ force

n为分布式片的数量
一个disperse 最小要2台数据，1台冗余，3台
所以总数要>=3n

8.卷删除

先在客户机上拆除挂载
# umount /test
不卸载也可停卷，会提示是否强制执行。

再在集群中停卷
# gluster volume stop 卷名

最后删卷
# gluster volume delete 卷名

验证
# gluster volume info 卷名