glusterfs 3.4.2安装记录（一）

大概是16年的时候，复习一年以后考上了计算机的研究生，老黄就让我没事的时候学一下glusterfs，把环境装好后用一用写一个文档记录下来，过后一直想搬到博客上，最近想起来就来慢慢的搬文章。

目录

安装

环境

• 系统环境：centos6.4 glusterfs3.4.2
• 三台虚拟机，两台作为集群节点，一台作为客户端节点，两台集群节点分配两块硬盘，一块装系统，一块用于glusterfs的存储磁盘。客户端节点一块磁盘即可。

一、系统安装

先对集群节点进行安装。

1.下载地址：http://download.gluster.org/pub/

2、rpm安装：
下载RPM包，运行 rpm -ivh glusterfs-*.rpm
3、tar安装：
下载tar压缩包，解压后进行编译：（编译过程中会出现一些依赖关系错误，缺少什么就安装什么即可）
(1) ./configure
(2)make
（3）make install

4.启动gluser服务以及自启动设置：

service glusterd start
chkconfig glusterd on

二、磁盘配置（选用一块20g大小的磁盘（大小不定））

查看磁盘：parted -l

先对磁盘进行分区（整块磁盘作为一个分区使用）：
[root@server1 ~]# fdisk /dev/sdb

WARNING: DOS-compatible mode is deprecated. It’s strongly recommended to
switch off the mode (command ‘c’) and change display units to
sectors (command ‘u’).

Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4):
Value out of range.
Partition number (1-4): 1

First cylinder (1-2610, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610):
Using default value 2610

Command (m for help): w

格式化分区： mkfs.ext4 -L /NODE1 /dev/sdb1

（节点一：NODE1 节点二：NODE2）

挂载磁盘：
创建磁盘挂载目录：mkdir /NODE1

挂载新磁盘：mount -L /NODE1 /NODE1 （使用label来挂载）

写入配置文件：/etc/fstab设置自启动：

LABEL=/NODE2 /NODE2 ext4 defaults 0 0

自动挂载：mount -a
查看挂载情况：df -h

3.组建集群：
添加集群（任一节点都可添加其他节点到集群中），选择server1作为当前集群节点：

gluster peer probe server2

查看集群状态：

gluster peer status

删除集群节点：
gluster peer detach server2

三、卷操作（glusterfs的文件系统）任一节点上操作都行

三种基本卷类型： （1）哈希卷（默认）
（2）复制卷（replica）
（3）条带卷（stripe）
复合卷：哈希+复制 哈希+条带 复制+条带 哈希+复制+条带

卷的网络类型：TCP（默认） RDMA
创建卷时先确定：卷类型，创建卷的brick列表，网络类型

1、查看卷信息：
gluster volume info

2、创建新的卷：

gluster volume create help 查看参数：(缺省状态默认创建哈希卷，网络类型为TCP）

（1）创建哈希卷dht1(两节点上分别创建一个brick）：

gluster volume create dht1 transport tcp server1:/NODE1/dht_brick1(brick名） server2:/NODE2/dht_brick2

gluster volume info :

需要使用卷先启动卷：

gluster volume start dht1

查看卷状态：
gluster volume status dht1

（2）创建复制卷afr1:（两个brick同时生成相同的文件）

gluster volume create afr1 replica 2 server1:/NODE1/afr_brick1 server2:/NODE2/afr_brick2

gluster volume info arf1

启动卷：

gluster volume start afr1:

（3）创建条带卷：

gluster volume create stp1 stripe 2 server1:/NODE1/stp_brick1 server2:/NODE2 /stp_brick2

启动并查看状态：

（4）创建复合卷（哈希+复制）dht_afr_1（两对brick分别存在于两个节点，每对brick是复制卷，一一组成复制关系）：

gluster volume create dht_afr_1 replica 2 server1:/NODE1/dht_afr_brick1 server2:/NODE2/dht_afr_brick1 server1:/NODE1/dht_afr_brick2 server2:/NODE2/dht_afr_brick2

启动并查看信息：

创建哈希+条带卷dht_stp_1:

gluster volume create dht_stp_1 stripe 2 server1:/NODE1/dht_stp_brick1 server2:/NODE2/dht_stp_brick1 server1:/NODE1/dht_stp_brick2 server2:/NODE2/dht_stp_brick2

启动并查看信息：

四、卷的挂载和访问（通过客户端挂载和访问）

（客户端所安装的gluster与集群节点有所不同，可以同样源码安装所有的glusterfs软件，也可以选择单纯针对客户端的软件）：

1.客户端gluster安装：

官网下载相应的rpm包安装：

http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.2/CentOS/epel-6.4/x86_64/
下载以下包即可实现一个基本的客户端功能：

安装好后同样配置系统：
先设置主机名：/etc/hosts

然后设置DNS：/etc/resolve.conf
关闭防火墙：service iptables stop； chkconfig iptables off。
设置selinux：
/etc/selinux/config： SELINUX=disabled

2.卷的挂载：

为了挂载卷，先创建相应卷的挂载目录/mnt/dht1 /mnt/afr1 /mnt/stp1 /mnt/dht_afr_1：

mkdir /mnt/dht1 /mnt/afr1 /mnt/stp1 /mnt/dht_afr_1

然后挂载目录(这里选择挂载到server1的卷上，也可选择server2）：

mount -t glusterfs(挂载卷类型） server1:/dht1 /mnt/dht1

同样挂载其他的目录：
mount -t glusterfs server2:/afr1 /mnt/afr1
mount -t glusterfs server1:/dht_afr_1 /mnt/dht_afr_1
mount -t glusterfs server2:/stp1 /mnt/stp1

这样就挂载好了。
3.访问卷：

（1）访问哈希卷：
在/mnt/dht1中创建两个文件hello和test，会以哈希的算法分配到server1和server2上：


创建好后可以在server1和server2查看卷：
server1中：

server2中：

可以看到刚好每个brick分配到一个文件，即使删掉文件或者修改文件内容，同时还是存在于之前分配到的brick上。哈席卷即以文件为分配单位，每一个文件随机分配到某一个brick上,这种卷容量和性能最好，可以把所有的容量利用起来，但如果一个brick down掉后，这一brick中的文件就不能被访问了，不具有高可用性的功能。

如果在客户端上创建目录，两个brick都会有目录，但是目录中的文件还是按照哈希算法随机分配到各brick上：

server1上：

server2上：

（2）访问复制卷：

在客户端的复制卷的目录中创建一个文件hello和目录demo（会在两个节点的brick中都生成相同的文件和目录）：

server1上：

server2上：

可以看出两个brick形成复制关系，这样一个brick down掉后，另一个brick中的文件还存在，还可访问，如果某一节点的文件丢失或者被修改，可以通过设置恢复，但是容量会只是哈希卷的一半：

（3）访问条带卷（每个节点中生成的目录空间和目录是相同的，但是文件中的内容是不一样的，会分片存在于不同的brick，每一128K的文件内容分片存在于不同的brick）：

在客户端上创建一个小文件 test：

server1上：

server2上：

会发现server1和server2的brick中生成相同的文件test，但是server1中有完整的文件内容，server2中为空文件，因为创建的文件小于128K，所以分片之后，内容都存到server1中，server2中没有内容。如果大于128K，分成无数个大小为128K的片，第一片存到第一个节点，第二片存到第二个节点，如此分布到所有的节点上。

（3）访问哈希+复制卷：

在客户端创建文件 hello， test， world，

server1上：

server2上：

因为server1上的brick1和server2上的brick1以及brick2和brick2是复制对，所以他们存到他们当中的文件相同，而每个节点中的两个brick是哈希关系，所以文件随机分配他们当中。即两个哈希节点分配了两个哈希，然后哈希节点内部是复制关系。