MHA高可用配置及故障切换

一 MHA概述

1 传统的MySQL主从架构存在的问题

MySQL主服务器出故障后就无法写入数据了

2 MHA简介

一套优秀的MySQL高可用环境下故障切换和主从复制的软件
MySQL故障过程中，MHA能做到0-30秒内自动完成故障切换

3 MHA组成

MHA Manager（管理节点）和 MHA Node（数据节点）
MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群（Manger是单独一台监控master服务器健康状态的服务器。）；也可以部署在一台 slave 节点上。MHA Node 运行在每台 MySQL 服务器上，MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完 全透明。

4 MHA特点（优势）

在 MHA 自动故障切换过程中，MHA 试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过 SSH 访问，MHA 没法保存二进制日志，就会出现只进行故障转移但丢失了最新的数据的情况。
使用 MySQL 5.5 的半同步复制，可以大大降低数据丢失的风险。MHA 可以与半同步复 制结合起来。如果只有一个 slave 已经收到了最新的二进制日志，MHA 可以将最新的二进 制日志应用于其他所有的 slave 服务器上，因此可以保证所有节点的数据一致性。

5 MHA架构

目前MHA支持一主多从架构，最少三台服务，即一主两从

二 MHA高可用案例

三 具体过程

3.1 实验需求

MHA 监控 MySQL数据库健康状态，在主服务器故障时进行自动切换，不影响业务。

3.2 实验思路

1. MHA架构
   数据库安装
   一主两从
   MHA搭建

2. 故障模拟
   主库失效
   备选主库成为主库
   从库2将备选主库指向为主库

3. 故障修复
   坏库修复，启动
   在修复好的库上建立新主从关系
   修改manager配置文件，添加修好的库的记录
   重启mha

3.3 实验环境

主机名	IP地址	角色	软件包
Master	192.168.73.10	主服务器	node数据节点软件包
Slave1	192.168.73.20	主备/从服务器	node数据节点软件包
Slave2	192.168.73.30	从服务器	node数据节点软件包
Manger	192.168.73.40	从服务器	node数据节点软件包/Manger管理节点软件包

3.4 实验步骤

3.4.1 配置MySQL主从同步

1. 安装 MySQL 数据库
   在三台 MySQL 节点上分别安装数据库，MySQL 版本请使用 5.6.36，cmake 版本请使
   用 2.8.6。

• 安装编译依赖的环境

yum -y install ncurses-devel gcc-c++ perl-Module-Install

• 安装 gmake 编译软件

tar zxvf cmake-2.8.6.tar.gz
cd cmake-2.8.6
./configure
gmake && gmake install

• 安装 MySQL 数据库

tar zxvf mysql-5.6.36.tar.gz
cd mysql-5.6.36
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS=all -DSYSCONFDIR=/etc
make && make install

cp support-files/my-default.cnf /etc/my.cnf
cp support-files/mysql.server /etc/rc.d/init.d/mysqld
chmod +x /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
echo "PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile
source /etc/profile

groupadd mysql
useradd -M -s /sbin/nologin mysql -g mysql

chown -R mysql.mysql /usr/local/mysql

mkdir -p /data/mysql
/usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql

• 修改 Master 的主配置文件/etc/my.cnf 文件，三台服务器的 server-id 不能一样，删除字符集utf8的语句

vi /etc/my.cnf
[mysqld]
server-id = 1
log_bin = master-bin
log-slave-updates = true

2. 配置从服务器
   这里要注意 server-id 不能相同。
   需要删除字符集utf8的语句

• 主备服务器/Slave1

vi /etc/my.cnf
[mysqld]
server-id = 2
log_bin = master-bin
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

• 从服务器/Slave2

vi /etc/my.cnf
[mysqld]
server-id = 3
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

• 每个MySQL做两个软链接，为HMA服务

ln -s /usr/local/mysql/bin/mysql /usr/sbin
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin

• 启动MySQL服务

systemctl start mysqld

• 配置MySQL一主两从

主

mysql> grant replication slave on *.* to 'myslave'@'192.168.73.%' identified by 'abc123';
mysql> grant all privileges on *.* to 'mha'@'192.168.73.%' identified by 'manager';
mysql> flush privileges;

mysql> show grants for myslave@'192.168.73.%'; ###查看授权
+-------------------------------------------------------------------------------------------------------------------------------+
| Grants for myslave@192.168.73.%                                                                                               |
+-------------------------------------------------------------------------------------------------------------------------------+
| GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.73.%' IDENTIFIED BY PASSWORD '*6691484EA6B50DDDE1926A220DA01FA9E575C18A' |
+-------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> show master status; ###查看二进制文件和同步点
+-------------------+----------+--------------+------------------+-------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 |      616 |              |                  |                   |
+-------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

下面三条授权按理论是不用添加的，但是做案例实验环境时候通过 MHA 检查MySQL 主从有报错，报两个从库通过主机名连接不上主库，所以所有数据库加上下面的授权。
mysql> grant all privileges on *.* to 'mha'@'Mysql1' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql2' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql3' identified by 'manager';

从

mysql> change master to master_host='192.168.73.10',master_user='myslave',master_password='abc123',master_log_file='master-bin.000001',master_log_pos=616;
mysql> start slave;

查看 IO 和 SQL 线程都是 yes 代表同步是否正常
mysql> show slave status\G;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

• 设置两个从库为只读模式

mysql> set global read_only=1;

• 在 Mysql1 主库插入两条数据，测试是否同步

主

mysql> create database aaa;
Query OK, 1 row affected (0.00 sec)

mysql> use aaa;
Database changed
mysql> create table a1(id int(1) not null primary key, name varchar(24));
Query OK, 0 rows affected (0.00 sec)

mysql> insert into a1 values(1,'zhangsan');
Query OK, 1 row affected (0.00 sec)

mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

从1

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use aaa;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

从2

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use aaa;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

3.4.2 安装MHA软件

• 所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源

yum -y install epel-release --nogpgcheck
yum -y install perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

• MHA软件包对于每个操作系统版本不一样，这里Centos7.6必须选择0.57版本，在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。

注意：所有服务器上必须安装node组件，最后在MHA-manager节点上安装manager组件

tar zxf mha4mysql-node-0.57.tar.gz 
cd mha4mysql-node-0.57/
perl Makefile.PL
make
make install

• 在 MHA-manager 上安装 manager 组件

tar zxf mha4mysql-manager-0.57.tar.gz 
cd mha4mysql-manager-0.57/
perl Makefile.PL
make
make install

• manager 安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个

cd /usr/local/bin
ll
总用量 84
-r-xr-xr-x. 1 root root 16381 10月 27 18:36 apply_diff_relay_logs
-r-xr-xr-x. 1 root root  4807 10月 27 18:36 filter_mysqlbinlog
-r-xr-xr-x. 1 root root  1995 10月 27 18:39 masterha_check_repl ###检查 MySQL 复制状况
-r-xr-xr-x. 1 root root  1779 10月 27 18:39 masterha_check_ssh ###检查 MHA 的 SSH 配置状况
-r-xr-xr-x. 1 root root  1865 10月 27 18:39 masterha_check_status ###检测当前 MHA 运行状态
-r-xr-xr-x. 1 root root  3201 10月 27 18:39 masterha_conf_host ###添加或删除配置的 server 信息
-r-xr-xr-x. 1 root root  2517 10月 27 18:39 masterha_manager ###启动 manager的脚本
-r-xr-xr-x. 1 root root  2165 10月 27 18:39 masterha_master_monitor ###检测 master 是否宕机
-r-xr-xr-x. 1 root root  2373 10月 27 18:39 masterha_master_switch ###控制故障转移（自动或者手动）
-r-xr-xr-x. 1 root root  5171 10月 27 18:39 masterha_secondary_check
-r-xr-xr-x. 1 root root  1739 10月 27 18:39 masterha_stop ###关闭manager
-r-xr-xr-x. 1 root root  8261 10月 27 18:36 purge_relay_logs
-r-xr-xr-x. 1 root root  7525 10月 27 18:36 save_binary_logs

• node 安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHA
  Manager 的脚本触发，无需人为操作）主要如下

save_binary_logs  ###保存和复制 master 的二进制日志
apply_diff_relay_logs  ###识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog  ###去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）
purge_relay_logs  ###清除中继日志（不会阻塞 SQL 线程）

• 配置无密码认证

在manager上配置到所有数据节点的无密码认证
ssh-keygen -t rsa //一路按回车键
ssh-copy-id 192.168.73.10
ssh-copy-id 192.168.73.20
ssh-copy-id 192.168.73.30
2. 在 Mysql1 上配置到数据库节点的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.73.20
ssh-copy-id 192.168.73.30
3. 在 Mysql2 上配置到数据库节点的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.73.10
ssh-copy-id 192.168.73.30
4. 在 Mysql3 上配置到数据库节点的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.73.10
ssh-copy-id 192.168.73.20

• 配置 MHA

1、在 manager 节点上复制相关脚本到/usr/local/bin 目录
cp -ra /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
ll /usr/local/bin/scripts/
总用量 32
-rwxr-xr-x. 1 1001 1001  3648 5月  31 2015 master_ip_failover ###自动切换时 VIP 管理的脚本
-rwxr-xr-x. 1 1001 1001  9870 5月  31 2015 master_ip_online_change ###在线切换时 vip 的管理
-rwxr-xr-x. 1 1001 1001 11867 5月  31 2015 power_manager ###故障发生后关闭主机的脚本
-rwxr-xr-x. 1 1001 1001  1360 5月  31 2015 send_report ###因故障切换后发送报警的脚本

2、复制上述的自动切换时 VIP 管理的脚本到/usr/local/bin 目录，这里使用脚本管理 VIP，也是推荐的一种方式，生产环境不太建议使用 keepalived
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
vi /usr/local/bin/master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.73.200';
my $brdc = '192.168.73.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

• 创建MHA软件目录并拷贝配置文件

mkdir /etc/masterha
cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
vi /etc/masterha/app1.cnf
[server default]
manager_workdir=/var/log/masterha/app1
manager_log=/var/log/masterha/app1/manager.log
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change
password=manager
user=mha
ping_interval=1
remote_workdir=/tmp
repl_password=abc123
repl_user=myslave
secondary_check_script= /usr/local/bin/masterha_secondary_check -s 192.168.73.10 -s 192.168.73.20 -s 192.168.73.30
shutdown_script=""
ssh_user=root

[server1]
hostname=192.168.73.10
port=3306

[server2]
hostname=192.168.73.20
port=3306
candidate_master=1   #设置为候选master，如果设置该参数以后，发生主从切换以后 会将此从库提升为主库，即使这个主库不是集群中最新的slave。
check_repl_delay=0     #默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的slave，但check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主库。

[server3]
hostname=192.168.73.30
port=3306

• 配置文件解析

[server default]
manager_log=/var/log/masterha/app1/manager.log #manager日志
manager_workdir=/var/log/masterha/app1 #manager工作目录
master_binlog_dir=/usr/local/mysql/data #master保存binlog的位置
master_ip_failover_script=/usr/local/bin/master_ip_failover #设置自动failover时候的切换脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change #设置手动切换时的切换脚本
password=manager #设置mysql中root用户的密码，这个密码是前面创建监控用户的密码
ping_interval=1 #设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp #设置远端mysql在发生切换时binlog的保存位置
repl_password=abc123 #设置复制用户的密码
repl_user=myslave #设置复制用户的账户
report_script=/usr/local/send_report #设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 14.0.0.30 -s 14.0.0.40
shutdown_script="" #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂）
ssh_user=root #设置ssh的登录用户名
user=mha #设置监控用户

• 测试ssh无密码认证，如果正常最后会输出successfully

masterha_check_ssh -conf=/etc/masterha/app1.cnf
Wed Oct 28 08:57:22 2020 - [debug]   ok.
Wed Oct 28 08:57:23 2020 - [info] All SSH connection tests passed successfully.

• 测试mha健康状态，如果正常最后会输出OK，如下所示

masterha_check_repl -conf=/etc/masterha/app1.cnf
...省略内容
MySQL Replication Health is OK.

• 注意：第一次配置需要去master上手动开启虚拟IP

/sbin/ifconfig ens33:1 192.168.73.200/24

• 启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

–remove_dead_master_conf #代表当发生主从切换后，老的主库的ip将会从配置文件中移除
/var/log/masterha/app1/manager.log #日志存放位置
–ignore_last_failover #在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行failover，之所以这样是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在日志中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便这里设置为–ignore_last_failover。

• 查看MHA状态，可以看到当前master是Slave1节点

masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:15272) is running(0:PING_OK), master:192.168.73.10

• 实验验证

1、将master数据库关闭，模拟宕机
[root@Master ~]# pkill -9 mysql

2、查看从库状态
mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.73.20 ###主库成功切换到备选主库
                  Master_User: myslave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000003
          Read_Master_Log_Pos: 1232
               Relay_Log_File: relay-log-bin.000002
                Relay_Log_Pos: 284
        Relay_Master_Log_File: master-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

• 修复主从

vi /etc/masterha/app1.cnf
[server1]
hostname=192.168.73.10
port=3306
candidate_master=1
check_repl_delay=0

[server2]
hostname=192.168.73.20
port=3306

[server3]
hostname=192.168.73.30
port=3306

• 原主服务器

mysql>change master to master_host='192.168.73.20',master_user='myslave',master_password='abc123',master_log_file='master-bin.000003',master_log_pos=1232；
mysql> start slave;

mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.73.20
                  Master_User: myslave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000003
          Read_Master_Log_Pos: 1232
               Relay_Log_File: mysqld-relay-bin.000002
                Relay_Log_Pos: 284
        Relay_Master_Log_File: master-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

• 测试主从同步是否正常

主：
mysql> create database ddd;
Query OK, 1 row affected (0.00 sec)
从：
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| bbb                |
| ccc                |
| ddd                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
8 rows in set (0.04 sec)

1、健康检查
[root@Manager ~]# masterha_check_repl -conf=/etc/masterha/app1.cnf 
...省略内容
MySQL Replication Health is OK.

2、启动服务
[root@Manager ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &