glusterfs简介
GlusterFS是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层,对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布。
内部实现是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86主机,通过网络搭建起来
其相对于传统NAS 、SAN、Raid的优点就是:
1.容量可以按比例的扩展,且性能却不会因此而降低。
2.廉价且使用简单,完全抽象在已有的文件系统之上。
3.扩展和容错设计的比较合理,复杂度较低。扩展使用translator方式,扩展调度使用scheduling接口,容错交给了本地的文件系统来处理。
4.适应性强,部署方便,对环境依赖低,使用,调试和维护便利。
支持主流的linux系统发行版,包括 fc,ubuntu,debian,suse等,并已有若干成功应用。
glusterfs安装配置
一般在企业中,采用的是分布式复制卷,因为有数据备份,数据相对安全,分布式条带卷目前对 gluster 来说没有完全成熟,存在一定的数据安全风险。
网络要求全部千兆环境,gluster 服务器至少有 2 块网卡,1 块网卡绑定供 gluster 使用,剩余一块分配管理网络 IP,用于系统管理。如果有条件购买万兆交换机,服务器配置万兆网卡,存储性能会更好。网络方面如果安全性要求较高,可以多网卡绑定。
跨地区机房配置 Gluster,在中国网络不适用。
下面对glusterfs做分布式、条带、复制等做演示如下:
1、安装glusterfs前的环境准备
首先关闭iptables和selinux,配置hosts文件如下:
1
2
3
4
5
6
7
|
[root@data
-
1
-
3
~]
# cat /etc/hosts
127.0
.
0.1
localhost localhost.localdomain localhost4 localhost4.localdomain4
::
1
localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0
.
0.154
data
-
1
-
1
10.0
.
0.155
data
-
1
-
2
10.0
.
0.142
data
-
1
-
3
10.0
.
0.143
data
-
1
-
4
|
2、安装glusterfs源
glusterfs源在阿里的epel源中是存在的,所以直接yum下载安装即可
1
2
3
4
5
6
7
8
|
yum search centos
-
release
-
gluster
centos
-
release
-
gluster310.noarch
centos
-
release
-
gluster312.noarch
centos
-
release
-
gluster36.noarch
centos
-
release
-
gluster37.noarch
centos
-
release
-
gluster38.noarch
centos
-
release
-
gluster39.noarch
|
这里我们使用glusterfs的3.10版本的源
1
|
yum install centos
-
release
-
gluster310.noarch
-
y
|
3、安装glusterfs
在安装glusterfs的时候直接指定源为glusterfs源,由于 源[centos-gluster310-test]的enable为0,所以在指定源的时候用--enablerepo来让源生效
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
[root@data
-
1
-
1
~]
# cat /etc/yum.repos.d/CentOS-Gluster-3.10.repo
# CentOS-Gluster-3.10.repo
#
# Please see http://wiki.centos.org/SpecialInterestGroup/Storage for more
# information
[centos
-
gluster310]
name
=
CentOS
-
$releasever
-
Gluster
3.10
baseurl
=
http:
/
/
mirror.centos.org
/
centos
/
$releasever
/
storage
/
$basearch
/
gluster
-
3.10
/
gpgcheck
=
1
enabled
=
1
gpgkey
=
file
:
/
/
/
etc
/
pki
/
rpm
-
gpg
/
RPM
-
GPG
-
KEY
-
CentOS
-
SIG
-
Storage
[centos
-
gluster310
-
test]
name
=
CentOS
-
$releasever
-
Gluster
3.10
Testing
baseurl
=
http:
/
/
buildlogs.centos.org
/
centos
/
$releasever
/
storage
/
$basearch
/
gluster
-
3.10
/
gpgcheck
=
0
enabled
=
0
gpgkey
=
file
:
/
/
/
etc
/
pki
/
rpm
-
gpg
/
RPM
-
GPG
-
KEY
-
CentOS
-
SIG
-
Storage
|
安装glusterfs
1
|
yum
-
-
enablerepo
=
centos
-
gluster
*
-
test install glusterfs
-
server glusterfs
-
cli glusterfs
-
geo
-
replication
-
y
|
4、查看glusterfs版本并启动glusterfs服务
1
2
3
4
5
|
[root@data
-
1
-
3
~]
# glusterfs -V
glusterfs
3.10
.
7
#启动glusterfs服务
/
etc
/
init.d
/
glusterd start
|
5、将分布式存储主机加入到信任主机池并查看加入的主机状态
随便在一个开启glusterfs服务的主机上将其他主机加入到一个信任的主机池里
1
2
3
4
5
6
|
[root@data
-
1
-
1
~]
# gluster peer probe data-1-2
peer probe: success.
[root@data
-
1
-
1
~]
# gluster peer probe data-1-3
peer probe: success.
[root@data
-
1
-
1
~]
# gluster peer probe data-1-4
peer probe: success.
|
查看主机池中主机的状态
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
[root@data
-
1
-
1
~]
# gluster peer status
Number of Peers:
3
Hostname: data
-
1
-
2
Uuid:
08b26b41
-
1479
-
45b5
-
959f
-
03fd992f76cf
State: Peer
in
Cluster (Connected)
Hostname: data
-
1
-
3
Uuid: a59e47da
-
ba3d
-
4b23
-
bb7f
-
5d53f268dd3d
State: Peer
in
Cluster (Connected)
Hostname: data
-
1
-
4
Uuid: eaeef3f8
-
247b
-
4ff2
-
9f7b
-
6fdb678bb36a
State: Peer
in
Cluster (Connected)
|
6、在每台主机上创建几块硬盘,做接下来的分布式存储使用
创建的硬盘要用xfs格式来格式化硬盘,如果用ext4来格式化硬盘的话,对于大于16TB空间格式化就无法实现了。所以这里要用xfs格式化磁盘(centos7默认的文件格式就是xfs),并且xfs的文件格式支持PB级的数据量
centos6默认是不支持xfs的文件格式,所以要先安装xfs支持包
1
|
yum install xfsprogs
-
y
|
用fdisk -l
查看磁盘设备,例如查看data-1-1的磁盘设备,这里的sdc、sdd、sde是新加的硬盘
1
2
3
4
5
6
|
[root@data
-
1
-
1
~]
# fdisk -l
Disk
/
dev
/
sda:
8589
MB,
8589934592
bytes
Disk
/
dev
/
sdb:
3221
MB,
3221225472
bytes
Disk
/
dev
/
sdc:
2147
MB,
2147483648
bytes
Disk
/
dev
/
sdd:
3221
MB,
3221225472
bytes
Disk
/
dev
/
sde:
4294
MB,
4294967296
bytes
|
特别说明:
如果磁盘大于 2T 的话就用 parted 来分区,这里我们不用分区(可以不分区); 做分布式文件系统的时候数据盘一般不需要做 RAID,一般系统盘会做 RAID 1;
如果有raid卡的话,最好用上,raid卡有数据缓存功能,也能提高磁盘的iops,最好的话,用RAID 5;
如果都不做raid的话,也是没问题的,glusterfs也是可以保证数据的安全的。
格式化磁盘
1
2
3
|
[root@data
-
1
-
1
~]
# mkfs.xfs -f /dev/sdc
[root@data
-
1
-
1
~]
# mkfs.xfs -f /dev/sdd
[root@data
-
1
-
1
~]
# mkfs.xfs -f /dev/sde
|
在四台机器上创建挂载块设备的目录,挂载硬盘到目录
1
2
3
4
5
6
7
|
mkdir
-
p
/
storage
/
brick{
1.
.
3
}
echo
"/dev/sdb /storage/brick1 xfs defaults 0 0"
>>
/
etc
/
fstab
echo
"/dev/sdc /storage/brick2 xfs defaults 0 0"
>>
/
etc
/
fstab
echo
"/dev/sdd /storage/brick3 xfs defaults 0 0"
>>
/
etc
/
fstab
</
|