pacemaker+corosync+iscsi实现mfsmaster的热备和高可用

1.Pacemaker
pacemaker是一个开源的高可用资源管理器(CRM),位于HA集群架构中资源管理、资源代理(RA)这个层次,它不能提供 底层心跳信息传递的功能,
要想与对方节点通信需要借助底层的心跳传递服务,将信息通告给对方。(作为通信层和提供关系管理服务,心跳引擎,检测心跳信息)
2.Corosync
Corosync是集群管理套件的一部分,它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等。
主机环境:RHEL6.5 selinux and iptables disabled
Master:  server1:172.25.27.1 server5:172.25.27.5
Chunkserver: server2:172.25.27.2 server3:172.25.27.3
Client:server4:172.25.27.4   scsi: server6:172.25.27.6
Vmfence: foundation27:172.25.27.250

[root@server5 ~]# yum install -y moosefs-cgi-3.0.97-1.rhsysv.x86_64.rpm  moosefs-master-3.0.97-1.rhsysv.x86_64.rpm
 moosefs-cgiserv-3.0.97-1.rhsysv.x86_64.rpm
[root@server1 3.0.97]# cd /var/lib/mfs/
[root@server1 mfs]# scp * 172.25.27.5:/var/lib/mfs/   #为了使server1、server上的数据保持一致,直接将server1上的数据直接复制过去
[root@server1 ~]# yum install -y pacemaker corosync 
[root@server1 ~]# yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y
[root@server1 ~]# cd /etc/corosync/
[root@server1 corosync]# cp corosync.conf.example corosync.conf
[root@server1 corosync]# vim corosync.conf
compatibility: whitetank   ##兼容0.8以前的版本##totem定义集群内各节点间是怎么通信的,totem本是一种协议,专用于corosync专用于各节点间的协议
totem {
        version: 2    ##totem的版本,不可更改
        secauth: off  ##安全认证
        threads: 0    ##用于安全认证开启的并线程数
        interface {
                ringnumber: 0   ##回环号码
                bindnetaddr: 172.25.27.0 ##绑定心跳网段,corosync会自动判断本地网卡上配置的哪个ip地址是属于这个网络的,并把这个接口作为
多播心跳信息传递的接口
                mcastaddr: 226.94.1.1 ##心跳信息组播地址,每个节点的组播地址必须为同一个
                mcastport:5405    ##组播时使用的端口
                ttl: 1    ##只向外一跳心跳信息,避免组播报文回路 
        }
}

logging {
        fileline: off   ##指定要打印的行
        to_stderr: no   ##日志信息是否发往错误输出(默认否)
        to_logfile: yes  ##是否记录日志文件
        to_syslog: yes   ##是否记录于syslog日志-->此类日志记录于/var/log/message中
        logfile: /var/log/cluster/corosync.log   ##日志存放位置
        debug: off    ##只要不是为了排错,最好关闭debug,它记录的信息过于详细,会占用大量的磁盘IO.
        timestamp: on   ##是否打印时间戳,利于定位错误,但会产生大量系统调用,消耗CPU资源
        logger_subsys {
                subsys: AMF
                debug: off
        }
}

amf {
        mode: disabled
}
 ##如果想让pacemaker在corosync中以插件方式启动,需要 在corosync.conf文件中加上如下内容:
service {
        name: pacemaker  ##模块名,启动corosync时同时启动pacemaker
        ver: 0
[root@server1 corosync]# /etc/init.d/corosync start
[root@server1 corosync]# scp corosync.conf server5:/etc/corosync/    
server1与server5配置相同
[root@server5~]# yum install -y pacemaker corosync
[root@server5~]# yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y
[root@server5 corosync]# /etc/init.d/corosync start
关于crm shell的使用
  crm可以显示并修改配置文件
  直接执行crm命令进行交互式修改配置文件,交互式输入的内容被记录在配置文件中
  show 显示配置文件
  commit提交
  如果添加资源时出错,首先进入resource,将添加的资源stop,然后进入cofigure,delete错误的资源
[root@server1 corosync]# crm

[root@server1 corosync]# crm 
crm(live)# configure 
crm(live)configure# show
node server1
node server5
property $id="cib-bootstrap-options" \
	dc-version="1.1.10-14.el6-368c726" \
	cluster-infrastructure="classic openais (with plugin)" \
	expected-quorum-votes="2"
crm(live)configure# property stonith-enabled=false  #禁掉fence
crm(live)configure# commit 
crm(live)configure# quit
bye
[root@server1 corosync]# crm
crm(live)# configure 
crm(live)configure#primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.27.100 op monitor interval=1minv#添加IP
 crm(live)configure# commit 
crm(live)configure# show
node server1
node server5
primitive vip ocf:heartbeat:IPaddr2 \
	params ip="172.25.27.100" \
	op monitor interval="1min"
property $id="cib-bootstrap-options" \
	dc-version="1.1.10-14.el6-368c726" \
	cluster-infrastructure="classic openais (with plugin)" \
	expected-quorum-votes="2" \
	stonith-enabled="false"
crm(live)configure# quit

# 在添加资源时命令写错的解决方法
[root@server1 mfs]# crm
crm(live)# resource 
crm(live)resource# show
 vip    (ocf::heartbeat:IPaddr2):   Started 
crm(live)resource# stop vip   ##首先停掉资源,当资源在使用时是无法对他进行改动的
crm(live)resource# delete vip  ##但是不能在这里delete,会报错语法错误ERROR: syntax: delete vip
crm(live)resource# cd ..
crm(live)# configure   ##进入configure执行delete
crm(live)configure# delete vip  ##删除后一定要提交,接下来就可以重新进行配置了
crm(live)configure# commit 
Vim /etc/hosts  #修改解析,所有节点都修改
172.25.27.100   mfsmaster

如图,在master非正常关闭后,重新启动时报错,启动失败
[root@server1 corosync]# vim /etc/init.d/moosefs-master  #修改启动脚本

修改脚本后,并发送给server5,启动成功
# 配置存储:
Server6 上添加虚拟磁盘
[root@server6 ~]# yum install -y scsi-*
[root@server6 ~]# vim /etc/tgt/targets.conf  #设置要共享的磁盘

[root@server6 ~]# /etc/init.d/tgtd start
[root@server1 corosync]# yum install -y iscsi-*  #server1、server5上都安装
[root@server1 corosync]# iscsiadm -m node -l
Logging in to [iface: default, target: iqn.2008-09.com.example:server.target1, portal: 172.25.27.6,3260] (multiple)
Login to [iface: default, target: iqn.2008-09.com.example:server.target1, portal: 172.25.27.6,3260] successful.
[root@server1 corosync]# fdisk -l
[root@server1 corosync]# fdisk /dev/sda
[root@server1 corosync]# mkfs.ext4 /dev/sda1
[root@server1 corosync]# mount /dev/sda1 /mnt
[root@server1 corosync]# df
Filesystem                   1K-blocks    Used Available Use% Mounted on
/dev/mapper/VolGroup-lv_root  19134332 1018668  17143684   6% /
tmpfs                           961272   37152    924120   4% /dev/shm
/dev/vda1                       495844   33487    436757   8% /boot
/dev/sda1                      8256936  149492   7688016   2% /mnt
[root@server1 ~]# umount /mnt/
[root@server1 ~]# mount /dev/sda1 /var/lib/mfs/
[root@server1 ~]# cd /var/lib/mfs/
[root@server1 mfs]# chown mfs.mfs . -R
[root@server1 mfs]# ll
total 3640
-rw-r----- 1 mfs mfs    4356 Apr  8 20:13 changelog.3.mfs
-rw-r----- 1 mfs mfs     491 Apr  8 20:13 changelog.4.mfs
-rw-r----- 1 mfs mfs      45 Apr  8 20:13 changelog.5.mfs
drwx------ 2 mfs mfs   16384 Apr  8 20:09 lost+found
-rw-r----- 1 mfs mfs    4300 Apr  8 20:13 metadata.mfs.back
-rw-r----- 1 mfs mfs    4300 Apr  8 20:13 metadata.mfs.back.1
-rwxr--r-- 1 mfs mfs       8 Apr  8 20:13 metadata.mfs.empty
-rw-r----- 1 mfs mfs 3672832 Apr  8 20:13 stats.mfs
[root@server5 ~]#  iscsiadm -m discovery -t st -p 172.25.27.6
[root@server5 ~]# iscsiadm -m node -l
[root@server5 ~]# mount /dev/sda1 /var/lib/mfs/  #由于共享存储,此时不需要再分区,直接挂载
[root@server5 ~]# cd /var/lib/mfs/
[root@server5 mfs]# ll
总用量 3640
-rw-r----- 1 mfs mfs    4356 4月   8 20:13 changelog.3.mfs
-rw-r----- 1 mfs mfs     491 4月   8 20:13 changelog.4.mfs
-rw-r----- 1 mfs mfs      45 4月   8 20:13 changelog.5.mfs
drwx------ 2 mfs mfs   16384 4月   8 20:09 lost+found
-rw-r----- 1 mfs mfs    4300 4月   8 20:13 metadata.mfs.back
-rw-r----- 1 mfs mfs    4300 4月   8 20:13 metadata.mfs.back.1
-rwxr--r-- 1 mfs mfs       8 4月   8 20:13 metadata.mfs.empty
-rw-r----- 1 mfs mfs 3672832 4月   8 20:13 stats.mfs
[root@server1 mfs]# crm
crm(live)# configure 
crm(live)configure# primitive mfsdata ocf:heartbeat:Filesystem params device=/dev/sda1 directory=/var/lib/mfs fstype=ext4
 op monitor interval=1min   #添加共享存储
crm(live)configure# primitive mfsmaster lsb:moosefs-master op monitor interval=1min    #添加服务
crm(live)configure# group mfsgroup vip mfsdata mfsmaster  #创建组,使他们绑定再一起
crm(live)configure# commit 
WARNING: mfsdata: default timeout 20s for start is smaller than the advised 60
WARNING: mfsdata: default timeout 20s for stop is smaller than the advised 60
WARNING: mfsdata: default timeout 20s for monitor is smaller than the advised 40
crm(live)configure# cd
crm(live)# bye 
bye

此时,将server1上corosync关掉,造成认为宕机,或使用 crm node standby 管理节点,服务被立即转接到了server5上,没有影响到数据写入



此时,不断的重启master主机上的corosync, 或使用 crm node standby、crm node online管理节点,发现集群服务始终会随着ip的漂移而漂移
# 本次部署采用外部fence ,fence是C/S架构,在fence服务端节点需要安装如下三个软件包。
[root@foundation27 ~]# yum install -y fence-virtd.x86_64 fence-virtd-libvirt.x86_64 fence-virtd-multicast.x86_64
安装好之后使用命令fence_virtd -c进入交互式界面配置fence文件,在配置时需要注意的是选择接口(interface)时选主机之间通信的网卡。
[root@foundation 27 ~]# mkdir /etc/cluster # 默认不存在cluster;
服务端和客户端之间通过key文件进行通信,key文件默认不存在,需要手动生成并拷贝到所有客户端节点。节点默认没有/etc/cluster目录,需自己建立
[root@foundation27 cluster]# dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1
[root@foundation27 cluster]# systemctl start fence_virtd.service #启动fence服务
[root@server1 ~]# yum install -y fence-virt  #server1、server5上都安装
[root@server1 ~]# mkdir /etc/cluster/   #server1、server5上都建立
[root@foundation27cluster]#scpfence_xvm.key root@172.25.27.1:/etc/cluster/ #将钥匙远程分发给server1和server5
[root@server1 ~]# crm 
crm(live)# configure 
crm(live)configure# property stonith-enabled=true  #开启fence 
crm(live)configure# commit
crm(live)configure# primitive vmfence stonith:fence_xvm params pcmk_host_map="server1:server1;server5:server5" op monitor 
interval=30   #将domain与hostname绑定,并每隔30s监控一次。
crm(live)configure# commit
监控页面

[root@server1 ~]#  chkconfig corosync on #设置corosync开机自启动
测试:查看ip ,知此时服务在server5上

[root@server5 ~]# echo c > /proc/sysrq-trigger Write failed: Broken pipe #故意让server5系统崩溃,此时由于fence作用,
server5重启,服务转移到了server1上

[root@server1 ~]# echo c > /proc/sysrq-trigger #让server1系统崩溃
#server1重启

此时服务又回到了server5


至此, mfsmaste基于pacemaker+corosync+iscsi已经全部实现



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值