MySQL高可用架构MHA

最新推荐文章于 2024-07-24 17:22:53 发布

༺哈哈༻

最新推荐文章于 2024-07-24 17:22:53 发布

阅读量233

点赞数

分类专栏：架构文章标签： mysql

本文链接：https://blog.csdn.net/weixin_52441468/article/details/115282753

版权

架构专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用MHA（MySQL High Availability）实现MySQL的高可用性，包括MHA的组件、工作原理、软件安装、主从复制配置、半同步复制设置以及故障切换流程。通过MHA，可以实现自动故障检测和主从切换，确保数据一致性，并通过VIP配合提高服务可用性。

摘要由CSDN通过智能技术生成

简介

MHA目前在MySQL高可用方面是一个相对成熟的解决方案
MHA是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件

MHA由两部分组成：

MHA Manager（管理节点）
MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上

MHA Node（数据节点）
MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master

MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性

目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器

工作原理

从宕机崩溃的master保存二进制日志事件（binlog events）;

识别含有最新更新的slave；

应用差异的中继日志（relay log）到其他的slave；

应用从master保存的二进制日志事件（binlog events）；

提升一个slave为新的master；

使其他的slave连接新的master进行复制；

软件组成

MHA软件由两部分组成，Manager工具包和Node工具包

Manager工具包主要有：

masterha_check_ssh ##检查MHA的SSH配置状况

masterha_check_repl ##检查MySQL复制状况

masterha_manger ##启动MHA

masterha_stop ##停止MHA

masterha_check_status ##检测当前MHA运行状态

masterha_master_monitor ##检测master是否宕机

masterha_master_switch ##控制故障转移（手动或者自动）

masterha_conf_host ##添加或删除配置的server信息

Node工具包主要有：

（这些工具通常由MHA Manager的脚本触发，无需人为操作）

save_binary_logs ##保存和复制master的二进制日志

apply_diff_relay_logs ##识别差异的中继日志事件并将其差异的事件应用于其他的slave

filter_mysqlbinlog ##去除不必要的ROLLBACK事件（MHA已不再使用这个工具）

purge_relay_logs ##清楚中继日志（不会阻塞SQL线程）

尽可能配置MHA的同时配置MySQL为半同步复制
为了尽可能的减少主库硬件损坏宕机造成的数据丢失

部署MHA

环境

192.168.13.14 master
192.168.13.13 slave1
192.168.13.34 slave2
192.168.13.19 manager/mycat

配置所有主机相互ssh登录免密

ssh-keygen -t rsa
##所有的机器都生成密钥对

ssh-copy-id -i root@192.168.13.14
ssh-copy-id -i root@192.168.13.13
ssh-copy-id -i root@192.168.13.34
ssh-copy-id -i root@192.168.13.19
##所有服务器执行此操作，即使是自己

for i in 13 14 19 34;do ssh root@192.168.13.$i hostname;done
slave1
master
manager
slave2
##在所有服务器上验证是否相互连接免密，远程执行hostname命令

所有MySQL命令添加软链接

在所有的MySQL服务器上执行命令
ln -s /usr/local/mysql/bin/* /usr/local/bin
##MHA无法识别/etc/profile中的环境变量

上传安装包

rz 上传
mha4mysql-manager-0.57-0.el7.noarch.rpm
mha4mysql-node-0.57-0.el7.noarch.rpm
mhapath.tar.gz

yum安装依赖包
所有的服务器都需要安装软件依赖，搭建本地yum源用来安装MHA的软件依赖，如果有网的话，可以yum install -y epel-release安装epel源，用epel扩展源安装软件依赖

vim /etc/yum.repos.d/mhapath.repo
[mha]
name=mhapath
baseurl=file:///root/mhapath
enabled=1
gpgcheck=0

ls /etc/yum.repos.d/
backup  Centos-yumconfig.repo  mhapath.repo

拷贝软件包和yum配置文件到其他节点
for i in 14 13 34;do scp -r /etc/yum.repos.d/mhapath.repo root@192.168.13.$i:/etc/yum.repos.d/;done

for i in 14 13 34;do scp /root/mha4mysql-node-0.57-0.el7.noarch.rpm root@192.168.13.$i:/root/;done

for i in 14 13 34;do scp -r /root/mhapath root@192.168.13.$i:/root/;done

在manager主机和各个node节点安装软件依赖件包
在数据库节点只要安装MHA的node工具包，在管理节点需要安装manager工具包和node工具包

for i in 14 13 34 19;do ssh root@192.168.13.$i yum -y install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager --skip-broken --nogpgcheck;done

for i in 14 13 34 19;do ssh root@192.168.13.$i rpm -ivh /root/mha4mysql-node-0.57-0.el7.noarch.rpm ;done
##安装完成后会在/usr/bin/目录下生成脚本文件

cd /usr/bin
ls app* filter* purge* save*
apply_diff_relay_logs  purge_relay_logs
filter_mysqlbinlog     save_binary_logs

安装MHA

仅manger13.19安装MHA Manager

yum -y install perl-DBD-MySQL perl-Config-Tiny 
perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes perl-extUtills-CBuilder perl-ExtUtils-MakeMaker perl-CPAN
##安装MHA Manger依赖的perl模块

rpm -ivh mha4mysql-manager-0.57-0.el7.noarch.rpm
##安装MHA Manager软件包

ls /usr/bin/mast*
masterha_check_repl  masterha_master_monitor
masterha_check_ssh    masterha_master_switch
masterha_check_status masterha_secondary_check
masterha_conf_host     masterha_stop
masterha_manager
##安装完成后在/usr/bin目录下生成脚本文件

搭建主从复制环境

为了尽可能的减少主库硬件损坏宕机造成的数据丢失，因此在配置MHA的同时建议配置成MySQL的半同步复制
mysql半同步插件是由谷歌提供，具体位置/usr/local/mysql/lib/plugin/下，一个是master用的semisync_master.so，一个是slave用的semisync_slave.so

查找Plugin的目录
mysql> show variables like '%plugin_dir%';                         
+---------------+------------------------------+
| Variable_name | Value                     |
+---------------+------------------------------+
| plugin_dir    | /usr/local/mysql/lib/plugin/ |
+---------------+------------------------------+

分别在主从节点上安装相关插件
master,备主(slave1),slave(slave2),在MySQL上安装插件需要数据库支持动态载入

检查是否支持
mysql> show variables like '%have_dynamic_loading%';
+----------------------+-------+
| Variable_name      | Value  |
+----------------------+-------+
| have_dynamic_loading | YES |
+----------------------+-------+

所有mysql数据库服务器，安装半同步插件(semisync_,master.so,semisync_slave.so)
mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';
mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';
##三台MySQL均进行操作

检查plugin是否已正确安装
mysql> show plugins;
或
mysql> select * from information_schema.plugins;
或
mysql> select * from information_schema.plugins\G
##不先安装半同步的话，配置文件关于半同步的内容，重启时报错

查看半同步相关信息
mysql> show variables like '%rpl_semi_sync%';

在master13.14配置主数据库服务器

vim /etc/my.cnf
server-id=1
log-bin=/data/mysql/log/mysql-bin
log-bin-index=/data/mysql/log/mysql-bin.index
binlog_format=mixed
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=10000
rpl_semi_sync_slave_enabled=1
relay_log_purge=0
relay-log=/data/mysql/log/relay-bin
relay-log-index=/data/mysql/log/slave-relay-bin.index
binlog-do-db=haha      ##可以被从服务器复制的库，二进制需要同步的数据库名
log_slave_updates=1   ##只有开启log_slave_updates,从库binlog才会记录主库同步的操作日志，默认从主库同步的binlog日志只会记录到中继日志中，默认不会记录到binlog日志中，而在mha中是需要用到binlog日志的，所以要开启这一项，开启之后就会把从主库上binlog日志也写到自己的binlog日志中

相关参数解释
rpl_semi_sync_master_enabled=1   ##1表示启用，0表示关闭
rpl_sermi_sync_master_timeout=10000  ##毫秒单位，表示祝福其等待确认消息，10s后，不在等待，变为异步方式(1s=1000ms)
relay_log_purge=0      ##禁止SQL线程在执行完一个relay log后自动将其删除，对于MHA场景下，对于某些滞后从库的恢复依赖于其他从库的relay log，为此采取禁用自动删除功能

systemctl restart mysqld

master授权
mysql> grant replication slave on *.* to repl@'192.168.13.%' identified by '123';
## 授权repl给从库使用

mysql> grant all privileges on *.* to manager@'192.168.13.%' identified by '123';
##创建MHA管理账号，所有mysql服务器都要执行

mysql> flush privileges;

mysql> select user,host from mysql.user;
+---------------+--------------+
| user          | host         |
+---------------+--------------+
| manager       | 192.168.13.% |
| repl          | 192.168.13.% |
| mysql.session | localhost    |
| mysql.sys     | localhost    |
| root          | localhost    |
+---------------+--------------+

mysql> show master status;

导出haha数据库到从服务器

mysqldump -uroot -p123 -B haha > haha.sql

scp haha.sql root@192.168.13.13:~

scp haha.sql root@192.168.13.34:~

配置从服务器13.13

mysql -uroot -p123 < haha.sql

vim /etc/my.cnf
server-id=2
log-bin=/data/mysql/log/mysql-bin
log-bin-index=/data/mysql/log/mysql-bin.index
binlog_format=mixed
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=10000
rpl_semi_sync_slave_enabled=1
relay_log_purge=0
relay-log=/data/mysql/log/relay-bin
relay-log-index=/data/mysql/log/slave-relay-bin.index
binlog-do-db=haha
log_slave_updates=1

systemctl restart mysqld

从服务器13.13授权
mysql> grant replication slave on *.* to repl@'192.168.13.%' identified by '123';

mysql> grant all privileges on *.* to manager@'192.168.13.%' identified by '123';

mysql> flush privileges;

从服务器13.13建立主从关系
mysql> stop slave;

mysql> change master to master_host='192.168.13.14',master_user='repl',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=2263;

mysql> start slave;

配置从服务器13.34

mysql -uroot -p123 < haha.sql

vim /etc/my.cnf
server-id=3
log-bin=/data/mysql/log/mysql-bin
log-bin-index=/data/mysql/log/mysql-bin.index
binlog_format=mixed
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=10000
rpl_semi_sync_slave_enabled=1
relay_log_purge=0
relay-log=/data/mysql/log/relay-bin
relay-log-index=/data/mysql/log/slave-relay-bin.index
binlog-do-db=haha
log_slave_updates=1

systemctl restart mysqld

从服务器13.34授权
mysql> grant replication slave on *.* to repl@'192.168.13.%' identified by '123';

mysql> grant all privileges on *.* to manager@'192.168.13.%' identified by '123';

mysql> flush privileges;

从服务器13.34建立主从关系
mysql> stop slave;

mysql> change master to master_host='192.168.13.14',master_user='repl',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=2263;

mysql> start slave;

两台slave服务器设置read_only
从库对外提供读服务，只所以没有写进配置文件，是因为slave随时会提升为master，使用mycat可以省略这步
mysql> set global read_only=1;
##两台服务器均设置

再次查看半同步相关信息
mysql> show variables like '%rpl_semi_sync%';
##半同步已经开启

查看半同步状态
mysql> show status like '%rpl_semi_sync%';

需要关注的参数
rpl_semi_sync_master_status ：显示主服务是异步复制模式还是半同步复制模式  

rpl_semi_sync_master_clients ：显示有多少个从服务器配置为半同步复制模式  

rpl_semi_sync_master_yes_tx ：显示从服务器确认成功提交的数量 (即master成功接收到slave的回复的次数。)

rpl_semi_sync_master_no_tx ：显示从服务器确认不成功提交的数量  (即master 等待超时的次数)

rpl_semi_sync_master_tx_avg_wait_time ：事务因开启 semi_sync ，平均需要额外等待的时间 （即master 花在每个事务上的平均等待时间） 

Rpl_semi_sync_master_tx_wait_time  ：master 花在所有事物上的等待时间

rpl_semi_sync_master_net_avg_wait_time ：事务进入等待队列后，到网络平均等待时间（即master 等待slave 回复的平均等待时间。单位毫秒.）  

Rpl_semi_sync_master_net_wait_time  ：master 总的等待时间

Rpl_semi_sync_master_net_waits  ：master 等待slave 回复的的总的等待次数。

Rpl_semi_sync_master_no_times：master 关闭半同步复制的次数。

Rpl_semi_sync_master_timefunc_failures  ：记录master调用类似 gettimeofday()等函数的失败次数

Rpl_semi_sync_master_tx_waits  ：master总的等待次数

Rpl_semi_sync_master_wait_sessions  ：当前有多少个session 因为slave 的回复而造成等待

配置MHA

创建MHA的工作目录，创建相关配置文件
MHA的配置文件与mysql的my.cnf文件配置相似，采取的是param=value的方式来配置，配置文件位于管理节点，通常包括每一个mysql server的主机名，mysql用户名，密码，工作目录等等

mkdir -p /etc/masterha

mkdir -p /var/log/masterha/app1

vim /etc/masterha/app1.cnf
[server default]
manager_workdir=/var/log/masterha/app1
##设置manager的工作目录

manager_log=/var/log/masterha/app1/manager.log  ##设置manager的日志

master_binlog_dir=/data/mysql/log
##设置master保存binlog的位置，以便MHA可以找到master的日志，所有的MySQL服务器的binlog文件路径都要与这个路径一致，也可以在MySQL定义区域单独指向每个mysql的binlog位置

master_ip_failover_script=/usr/bin/master_ip_failover     ##设置自动故障切换时候的脚本

master_ip_online_change_script=/usr/bin/master_ip_online_change  ##设置手动切换时候的脚本

user=manager
##设置监控用户manager

password=123
##监控用户manager的密码

ping_interval=1
##设置监控主库，发送ping包的时时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover

remote_workdir=/tmp
##设置远端mysql在发生切换时binlog的保存位置

repl_user=repl
##设置复制环境中的复制用户名

repl_password=123
##设置复制用户的密码

report_script=/usr/local/send_report
##设置发生切换后发送的报警的脚本

shutdown_script=""
##设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂，这里没有使用）

ssh_user=root
##设置ssh的登录用户名

[server1]
hostname=192.168.13.14
port=3306
#candidate_master=1

[server2]
hostname=192.168.13.13
port=3306
#candidate_master=1 ，，设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave

#check_repl_delay=0   ，，默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

[server3]
hostname=192.168.13.34
port=3306

检查SSH配置
检查MHA Manger到所有MHA Node的SSH连接状态
masterha_check_ssh --conf=/etc/masterha/app1.cnf

检查整个复制环境状况
通过masterha_check_repl脚本查看整个集群的复制状态
masterha_check_repl --conf=/etc/masterha/app1.cnf

检查MHA Manager的状态
通过master_check_status脚本查看Manager的状态
masterha_check_status --conf=/etc/masterha/app1.cnf
##如果正常，会显示"PING_OK"，否则会显示"NOT_RUNNING"，这代表MHA监控没有开启

开启MHA Manager监控
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover< /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

启动参数：
--remove_dead_master_conf     ##该参数代表当发生主从切换后，老的主库的ip将会从配置文件中移除。

--manger_log                 ##日志存放位置

--ignore_last_failover           ##在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行Failover故障转移，该参数代表忽略上次MHA触发切换产生的文件。默认情况下，MHA发生切换后会在日志目录，也就是上面设置的/data产生app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后删除该文件，为了方便，这里设置为--ignore_last_failover。

再次查看MHA Manager监控是否正常
masterha_check_status --conf=/etc/masterha/app1.cnf

查看启动日志
tail -20 /var/log/masterha/app1/manager.log
##其中"Ping(SELECT) succeeded, waiting until MySQL doesn't respond.."说明整个系统已经开始监控了

关闭MHA Manage监控
关闭很简单，使用masterha_stop命令完成
masterha_stop --conf=/etc/masterha/app1.cnf

模拟故障

开启监控
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf  --ignore_last_failover < /dev/null >   /var/log/masterha/app1/manager.log 2>&1 &

打开新窗口观察日志
tail -f /var/log/masterha/app1/manager.log

模拟主库挂掉
systemctl stop mysqld

看日志是否切换master成功
Master failover to 192.168.13.13(192.168.13.13:3306) completed successfully.
##可以看到master已经切换到了192.168.13.13

登录13.34查看show slave status\G是否切换
可以看到 master 的 IP 现在为 192.168.13.13,已经切换到和192.168.13.13同步了，本来是和192.168.13.14同步的，说明 MHA 已经把13.13提升为了新的 master，IO线程和SQL线程也正确运行，MHA 搭建成功

查看13.13主从状态
mysql> show processlist \G
*************************** 1. row ***************************
     Id: 42
   User: repl
   Host: slave2:39792
     db: NULL
Command: Binlog Dump
   Time: 839
  State: Master has sent all binlog to slave; waiting for more updates
   Info: NULL
*************************** 2. row ***************************
     Id: 43
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: starting
   Info: show processlist
##只剩下了13.34的slave，MHA把原来的master（13.14）踢掉了

配置VIP配合MHA使用

使用VIP （虚拟IP）可以实现mysql master服务器的高可用。

vip配置可以采用两种方式
一种通过keepalived的方式管理虚拟ip的浮动；
另外一种通过脚本方式启动虚拟ip的方式（即不需要keepalived或者heartbeat类似的软件）

为了防止脑裂发生，推荐生产环境采用脚本的方式来管理虚拟ip，而不是使用keepalived来完成

在MySQL主上配置VIP
下面是通过脚本的方式管理VIP。如果使用脚本管理vip的话，需要手动在master服务器上绑定一个vip由于上面把mysql主切换到13.13上，这里在13.13上配置

ifconfig ens33:1 192.168.13.99 netmask 255.255.255.0 up

ifconfig
ens33:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
inet 192.168.13.99  netmask 255.255.255.0  broadcast 192.168.13.255
ether 00:0c:29:a4:e0:62  txqueuelen 1000  (Ethernet)

在主配置文件里开启脚本
在主配置文件添加master_ip_failover_script=/usr/bin/master_ip_failover，MHA切换master后，会把原先的msater清除，把刚才清掉的13.14的mysql 添加进主配置文件，设为slave

vim /etc/masterha/app1.cnf
master_ip_failover_script=/usr/bin/master_ip_failover
[server1]
hostname=192.168.13.14
port=3306
##配置文件添加这些内容

把13.14设为从服务器
切换后还需要进行许多操作

重构
重构就是主挂了，切换到备主上，备主变成了主，因此重构就是将原来的主库修复成一个新的slave

主库切换后，把原主库修复成新从库，原主库数据文件完整的情况下，可以在管理节点找出最后执行的change master命令
grep "CHANGE MASTER TO MASTER" /var/log/masterha/app1/manager.log | tail -1
Sat Mar 27 17:24:00 2021 - [info]  All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='192.168.13.13', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=716, MASTER_USER='repl', MASTER_PASSWORD='xxx';
##使用此命令，快速的配置13.14的从库配置，这里的pos与当前show master status的pos不一致，以宕机这个pos为准

mysql> stop slave;

mysql> CHANGE MASTER TO MASTER_HOST='192.168.13.13', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=716, MASTER_USER='repl', MASTER_PASSWORD='123';

mysql> start slave;

mysql> show slave status\G
##可以看到13.13变成了13.14的主

查看13.13master状态
mysql> show processlist\G
*************************** 1. row ***************************
     Id: 42
   User: repl
   Host: slave2:39792
     db: NULL
Command: Binlog Dump
   Time: 2112
  State: Master has sent all binlog to slave; waiting for more update
s   Info: NULL
*************************** 2. row ***************************
     Id: 44
   User: repl
   Host: master:35600
     db: NULL
Command: Binlog Dump
   Time: 170
  State: Master has sent all binlog to slave; waiting for more update
s   Info: NULL
*************************** 3. row ***************************
     Id: 45
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: starting
   Info: show processlist

编写/usr./bin/master_ip_failover，用perl语言
vim /usr/bin/master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_mas
ter_ip,    $orig_master_port, $new_master_host, $new_master_ip,    $new_mast
er_port);

my $vip = '192.168.1.99/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n
";
    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host
 \n";            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_m
aster_host \n";            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        #`ssh $ssh_user\@cluster1 \" $ssh_start_vip \"`;
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

# A simple system call that enable the VIP on the new master
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --
orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";}

chmod +x /usr/bin/master_ip_failover
##添加执行权限

检查SSH配置
masterha_check_ssh --conf=/etc/masterha/app1.cnf

检查整个集群复制环境
rm -rf /var/log/masterha/app1/app1.master_status.health
##删除之前的健康检查文件

masterha_check_repl --conf=/etc/masterha/app1.cnf 

开启MHA Manager监控
nohup masterha_manager --conf=/etc/masterha/app1.cnf   --remove_dead_master_conf  --ignore_last_failover < /dev/null >   /var/log/masterha/app1/manager.log 2>&1 &

查看MHA Manager监控是否正常
masterha_check_status --conf=/etc/masterha/app1.cnf

查看启动日志
tail -20 /var/log/masterha/app1/manager.log

打开新窗口观察日志
tail -f /var/log/masterha/app1/manager.log

模拟主库挂掉
systemc stop mysqld

看日志是否切换master成功

登录从13.34查看show slave status\G是否成功切换
mysql> show slave status\G

查看13.14主从状态
mysql> show processlist\G

查看VIP是否飘过来
ifconfig

后续工作 重构
grep "CHANGE MASTER TO MASTER"  /var/log/masterha/app1/manager.log

mysql> stop slave;

CHANGE MASTER TO MASTER_HOST='192.168.13.14', MASTER_PORT=3306,MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=154, MASTER_USER='repl', MASTER_PASSWORD='123';

mysql> start slave;

mysql> show slave status\G

vim /etc/masterha/app1.cnf 添加
[server2]
hostname=192.168.13.13
port=3306

检查SSH配置
masterha_check_ssh --conf=/etc/masterha/app1.cnf

检查整个集群复制环境状况
masterha_check_repl --conf=/etc/masterha/app1.cnf

开启监控
nohup masterha_manager --conf=/etc/masterha/app1.cnf
   --remove_dead_master_conf  --ignore_last_failover < /dev/null >   /var/log/masterha/app1/manager.log 2>&1 &

查看监控状态
masterha_check_status --conf=/etc/masterha/app1.cnf