CentOS7部署GlusterFS存储服务

CentOS7部署GlusterFS存储服务

环境准备

• 节点

说明：本文需要三个节点，其中两台用于正常部署，第三台用于存储节点扩展，另外选择glusterfs-01作为master节点

主机名	网卡1（外网）非必须	网卡2（内网）	系统	其他
glusterfs-01	192.168.72.131	202.207.240.131	CentOS7.5.1804	MEM:2G、CPU:2C/2P、DISK:15G+两块20G
glusterfs-02	192.168.72.132	202.207.240.132	CentOS7.5.1804	MEM:2G、CPU:2C/2P、DISK:15G+两块20G
glusterfs-03	192.168.72.133	202.207.240.133	CentOS7.5.1804	MEM:2G、CPU:2C/2P、DISK:15G+两块20G
glusterfs-client	192.168.72.201	202.207.240.201	CentOS7.5.1804	MEM:1G、CPU:1C/1P

• 配置域名解析

• 更换CentOS7系统Base源

• 关闭默认的安全组件(防火墙、seliux)

• 将所有gluserfs节点的空余硬盘格式化分区

• 安装glusterfs的yum源【所有节点，包含客户端节点】

  yum install centos-release-gluster -y
  

GlusterFS存储部署

第一部分：部署

• 安装并启动gluserfs

  说明：glusterfs-01、glusterfs-02、glusterfs-03节点进行

# 安装glusterfs
yum install glusterfs-server -y

# 启动服务
systemctl start glusterd.service
systemctl enable glusterd.service

• 创建挂载目录，并挂载

  说明：glusterfs-01、glusterfs-02、glusterfs-03节点进行

# 创建挂载目录
mkdir -p /gfs/{mnt1,mnt2}

# 查看各节点硬盘uuid
[root@glusterfs-01 ~]# blkid
/dev/sdb: UUID="75388fae-9bec-49c1-a753-a8d47c27b57b" TYPE="ext4" 
/dev/sdc: UUID="4dcf00ab-98a6-4067-97db-5853ca121ce9" TYPE="ext4" 
[root@glusterfs-02 ~]# blkid
/dev/sdc: UUID="32db205f-6570-40b2-96d9-d055b5ccf331" TYPE="ext4"
/dev/sdb: UUID="9d59ac5e-e3c1-4ac5-93e1-465b1ada6698" TYPE="ext4"
[root@glusterfs-03 ~]# blkid
/dev/sdb: UUID="a39c62d0-04f4-45bb-96bd-5315a01c9451" TYPE="ext4" 
/dev/sdc: UUID="9070574d-9ec3-4022-a63b-23e55e13b328" TYPE="ext4" 

# 编辑/etc/fstab，使用uuid挂载(以gluterfs-03节点为例，其他节点类似)
[root@glusterfs-03 ~]# echo 'UUID=a39c62d0-04f4-45bb-96bd-5315a01c9451 /gfs/mnt1 ext4 defaults 0 0' >>/etc/fstab 
[root@glusterfs-03 ~]# echo 'UUID=9070574d-9ec3-4022-a63b-23e55e13b328 /gfs/mnt2 ext4 defaults 0 0' >>/etc/fstab

# 使挂载生效
mount -a

查看每个节点的挂载是否成功

• 查看存储池，并将其余节点加入存储池资源

  说明：以下操作在gluserfs-01上进行

# 查看存储池资源
gluster pool list

# 将其余节点加入glusterfs的存储池资源中
gluster peer probe glusterfs-02
gluster peer probe glusterfs-03

存储池资源添加后，再次查看存储池资源

• 创建复制卷，并启动

  说明：这里指用glusterfs-01和glusterfs-02节点的资源进行创建，glusterfs-03用于接下来的动态扩展

# 创建复制卷
gluster volume create wjz replica 2 glusterfs-01:/gfs/mnt1 glusterfs-02:/gfs/mnt1 \
glusterfs-01:/gfs/mnt2 glusterfs-02:/gfs/mnt2 force

# 查看复制卷
gluster volume info wjz

# 启动复制卷(启动复制卷后，即可进行挂载)
gluster volume start wjz

• 客户端测试挂载

  1. 安装glusterfs客户端工具

  yum install glusterfs-client -y
  

  2. 测试挂载

  mount -t glusterfs 202.207.240.131:/wjz /mnt
  

  

第二部分：扩容

• 卷动态扩展

  说明：将glusterfs-03节点资源添加到卷wjz中，实现扩容

1. glusterfs-01节点执行

[root@glusterfs-01 ~]# gluster volume add-brick wjz glusterfs-03:/gfs/mnt1 glusterfs-03:/gfs/mnt2 force
volume add-brick: success

2. 客户端glusterfs-client节点重新查看磁盘挂载情况