mfs配置高可用

实验环境：

foundation45:172.25.45.250 mfsclient

server1：172.25.45.1  mfsmaster  

server2：172.25.45.2  mfschunkserver

server3：172.25.45.3  mfschunkserver

server4：172.25.45.4  mfsmaster

在server1和server4上配置高可用yum源

[HighAvailability] 
name=HighAvailability 
baseurl=http://172.25.45.250/rhel6.5/HighAvailability 
gpgcheck=0 

[LoadBalancer] 
name=LoadBalancer 
baseurl=http://172.25.45.250/rhel6.5/LoadBalancer 
gpgcheck=0 

[ResilientStorage] 
name=ResilientStorage 
baseurl=http://172.25.45.250/rhel6.5/ResilientStorage 
gpgcheck=0

1.安装服务编辑配置文件（server4同）：

[root@server1 ~]# yum install -y crmsh-1.2.6-0.rc2.2.1.x86_64.rpm 
pssh-2.3.1-2.1.x86_64.rpm   moosefs-master-3.0.97-1.rhsysv.x86_64.rpm
[root@server1 ~]# cd /etc/corosync/ 
[root@server1 corosync]# cp corosync.conf.example corosync.conf 
[root@server1 corosync]# vim corosync.conf 
   10 bindnetaddr: 172.25.45.0 
   11 mcastaddr: 226.94.1.1 
   12 mcastport: 5959 .... 
   35 service { 
   36 name: pacemaker 
   37 ver: 0 
   38 } 
[root@server1 corosync]# /etc/init.d/corosync start 

[root@server1 corosync]# scp corosync.conf server4:/etc/corosync
[root@server4 ~]# cd /etc/corosync/ 
[root@server4 corosync]# /etc/init.d/corosync start

2.在server1上查看监控

[root@server1 corosync]# crm_mon

3.在server2添加一个磁盘

4.在server2上安装scsi服务 修改配置文件

[root@server2 ~]# yum install -y scsi-* 
[root@server2 ~]# vim /etc/tgt/targets.conf 
38 <target iqn.2018-11.com.example:server.target1> 
39      backing-store /dev/vdb 
40 </target> 
[root@server2 ~]# /etc/init.d/tgtd start

5.在server1和server4上安装iscsi

[root@server1 corosync]# yum install -y iscsi-*
[root@server4 corosync]# yum install -y iscsi-*

[root@server1 corosync]# iscsiadm -m discovery -t st -p 172.25.45.2 
[root@server1 corosync]# iscsiadm -m node -l

6在server1上可以查看到server2添加的磁盘

[root@server1 corosync]# fdisk -l

7.在server1上建立分区，建立完分区要wq保存退出(n-->p-->1-->enter-->enter-->p-->wq)

[root@server1 corosync]# fdisk -cu /dev/sda

格式化分区

[root@server1 corosync]# mkfs.ext4 /dev/sda1

 

8在server1上：配置挂载共享目录.完成后卸挂载，在server4登陆磁盘并挂载查看共享目录

[root@server1 corosync]# cd /var/lib/mfs/ 
[root@server1 mfs]# mount /dev/sda1 /mnt/ 
[root@server1 mfs]# cp -p * /mnt/ 
[root@server1 mfs]# umount /mnt/ 
[root@server1 mfs]# ll -d /var/lib/mfs/ 
[root@server1 mfs]# chown mfs.mfs /var/lib/mfs/ 
[root@server1 mfs]# mount /dev/sda1 /var/lib/mfs 
[root@server1 mfs]# df

在server4上：

[root@server4 corosync]# iscsiadm -m discovery -t st -p 172.25.45.2
[root@server4 corosync]# iscsiadm -m node -l
[root@server4 corosync]# fdisk -l

9.server1、server2、server3、server4在本地解析加入vip指定mfsmaster

完成可以查看集群

关闭stonith

property stonith-enabled=false

crm_verify -LV

加入vip

crm_mon监控查看vip的加入

忽略投票规则（不然一个节点down，整个服务宕机）

添加共享存储文件

添加mfs执行脚本文件，并将这三个放到一个组内，保持统一飘移

监控查看添加信息

查看有无fence_xvm，如果没有添加fence_xvm(yum install -y fence-virt)

用fence实现，避免master突然crash而down掉，此时因为已经添加了fence设备，将刚才关闭的stonith开启

用172.25.45.250来控制，查看key目录，将172.25.45.250的key发送到server1和server4的此目录下

添加fence服务

完成后进行测试：

server1和serer4都开启mfsmaster服务，此时资源在server1上，我们将server1 down掉

 

通过监控发现资源成功转移到server4上 vip也在server4上

 

测试数据的写入在出现down机的情况下，是否可以正常写入

在clien端dd写入一个bigfile，此时down掉server4，在cline端可以发现先卡了一下所后成功写入数据，实现了mfs的高可用