MFS+isscsi+(Pacemaker+corocync+fence)实现分布式文件系统高可用存储

实验环境
172.25.5.4 server4 mfs-master、 pacemaker+corosync高可用集群服务 、iscsi网络磁盘共享
172.25.5.5 server4 mfs-chunk
172.25.5.6 server4 mfs-chunk
172.25.5.7 server4 mfs-chunk
172.25.5.8 server4 mfs-master、 pacemaker+corosync高可用集群服务、 iscsi网络磁盘共享
172.25.5.250 foundation5 fence-server、 mfs-client
必须保持server4和server8配置一致

上篇文章写了Moosefs分布式文件系统
需要的话可以点击查看

一、安装moosefs-master

[root@server4 ~]# scp /etc/yum.repos.d/MooseFS.repo server8:/etc/yum.repos.d/
[root@server8 ~]# yum install moosefs-master -y

二、高可用

详细解释请参考

server4,server8实现高可用

1. 配置高可用yum源

[root@server4 ~]# vim /etc/yum.repos.d/dvd.repo 

[rhel7.6]
name=rhel7.6
baseurl=http://172.25.5.250/rhel7.6
gpgcheck=0

[HighAvailability]
name=HighAvailability
baseurl=http://172.25.5.250/rhel7.6/addons/HighAvailability
gpgcheck=0

[ResilientStorage]
name=ResilientStorage
baseurl=http://172.25.5.250/rhel7.6/addons/ResilientStorage
gpgcheck=0

[root@server4 ~]# scp /etc/yum.repos.d/dvd.repo server8:/etc/yum.repos.d/

2. 安装pcs套件，并启动pcsd服务

[root@server4 ~]# yum install  -y pacemaker pcs psmisc policycoreutils-python
[root@server4 ~]# systemctl start pcsd
[root@server4 ~]# systemctl enable pcsd

[root@server8 ~]# yum install  -y pacemaker pcs psmisc policycoreutils-python
[root@server8 ~]# systemctl start pcsd
[root@server8 ~]# systemctl enable pcsd

3. 相互免密

[root@server4 ~]# ssh-keygen 
[root@server4 ~]# ssh-copy-id server8

4. 设置集群密码

（server4和server8密码必须一样）

[root@server4 ~]# echo westos |passwd --stdin hacluster
[root@server8 ~]# echo westos |passwd --stdin hacluster

5. 集群认证

[root@server4 ~]# pcs cluster auth server4 server8
Username: hacluster
Password: 
server4: Authorized
server8: Authorized

6. 建立集群

[root@server4 ~]# pcs cluster setup --name mycluster server4 server8

7. 开启集群服务

[root@server4 ~]# pcs cluster start --all
server4: Starting Cluster (corosync)...
server8: Starting Cluster (corosync)...
server8: Starting Cluster (pacemaker)...
server4: Starting Cluster (pacemaker)...

三、fence服务

1. 服务端安装fence服务并启动

真机提供fence服务
之前已经配置过fence服务了，foundation5上配置的不再重复

详细解释请参考

[root@foundation5 html]# systemctl start fence_virtd.service 

2. 客户端安装fence服务

[root@server4 ~]# yum install -y fence-virt
[root@server8 ~]# yum install -y fence-virt

3. 认证

[root@server4 ~]# stonith_admin -M -a fence_xvm  
# -M：查看元数据， -a：指定agent 
#默认会去/etc/cluster取他的key,目录需要自己新建

[root@server4 ~]# mkdir /etc/cluster

[root@server8 ~]# mkdir /etc/cluster

[root@foundation5 ~]# cd /etc/cluster/
[root@foundation5 cluster]# ls
fence_xvm.key
[root@foundation5 cluster]# scp fence_xvm.key server4:/etc/cluster/
[root@foundation5 cluster]# scp fence_xvm.key server8:/etc/cluster/

fence服务端添加主机

[root@server4 ~]# pcs stonith create vmfence f