Linux下 MHA故障切换 主从角色提升

目录

所有主机共同操作

manger操作

其他四台安装

搭建主从复制环境

nobe   slave1 配置

slave2    slave3   配置

配置MHA环境

---

简述MHA：

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。
在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。
目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。MHA 适合任何存储引擎, 只要能主从复制的存储引擎它都支持，不限于支持事物的 innodb 引擎。

我们自己使用其实也可以使用一主一从，但是master主机宕机后无法切换，以及无法补全二进制日志。master的mysqld进程crash（停止工作）后，还是可以切换成功，以及补全二进制日志

MHA Node运行在每台MySQL服务器及Manager服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将拥有最新数据的slave提升为新的master，将所有其他的slave重新指向新提升的master，通过检测二进制文件的时间节点和操作ID，从数据库谁最新，谁就变成主。

 开始

环境：五台主机一主三从一Manger

1.关闭防火墙

 2.配置主机名称

1.192.168.1.129 manager
2.192.168.1.119 nobe      主
3.192.168.1.125 slave1    从      将要做主的从
4.192.168.1.128 slave2   从
5.192.168.1.137 slave3    从

3.映射主机名和IP地址

vim /etc/hosts

192.168.1.129 manager
192.168.1.119 nobe
192.168.1.125 slave1
192.168.1.128 slave2
192.168.1.137 slave3

所有主机共同操作

1.安装MHA  epel源 开发工具和库

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

yum install -y perl-DBD-MySQL.x86_64 perl-DBI.x86_64 perl-CPAN perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

yum -y install epel-release

2.安装MHA Node

打开你的浏览器，进入MHA（MySQL Master High Availability）的官方网站或者其他可信的软件下载网站。

[root@nobe /]# tar xf mha4mysql-node-0.56.tar.gz  解压
[root@nobe /]# cd mha4mysql-node-0.56/            切换到目录下
[root@nobe mha4mysql-node-0.56]# perl Makefile.PL 生成Makefile
*** Module::AutoInstall version 1.03
*** Checking for Perl dependencies...
[Core Features]
- DBI        ...loaded. (1.627)
- DBD::mysql ...loaded. (4.023)
*** Module::AutoInstall configuration finished.
Checking if your kit is complete...
Looks good
Writing Makefile for mha4mysql::node
[root@nobe mha4mysql-node-0.56]# make && make install    编译安装
cp lib/MHA/BinlogManager.pm blib/lib/MHA/BinlogManager.pm
cp lib/MHA/BinlogPosFindManager.pm blib/lib/MHA/BinlogPosFindManager.pm

MHA Node安装完后会在 /usr/local/bin生成以下脚本 4个 ls -l /usr/local/bin/

4.配置密钥验证所有主机要相通并测试

生成密钥ssh-keygen -t rsa

所有主机复制管理

ssh-copy-id -i .ssh/id_rsa.pub root@manager

在转发给其他主机

scp .ssh/authorized_keys root@名字:.ssh/

manger操作

安装MHA Manger依赖的perl模块

yum install -y perl perl-Log-Dispatch perl-Parallel-ForkManager perl-DBD-MySQL perl-DBI perl-Time-HiRes

tar xf mha4mysql-manager-0.56.tar.gz   解压

可以尝试在Perl官方网站、CPAN（Comprehensive Perl Archive Network）或其他可信的软件下载网站上搜索并下载perl-Config-Tiny-2.14-7.el7.noarch.rpm文件。

cd mha4mysql-manager-0.56/          进入目录

perl Makefile.PL                                生成Makefile文件

make && make install                         编译安装

安装完成后会有以下脚本文件ls -l /usr/local/bin/

[root@manager mha4mysql-manager-0.56]# ls -l /usr/local/bin/
总用量 76
-r-xr-xr-x. 1 root root 16346 6月  29 13:50 apply_diff_relay_logs
-r-xr-xr-x. 1 root root  4807 6月  29 13:50 filter_mysqlbinlog
-r-xr-xr-x. 1 root root  1995 6月  29 14:12 masterha_check_repl
-r-xr-xr-x. 1 root root  1779 6月  29 14:12 masterha_check_ssh
-r-xr-xr-x. 1 root root  1865 6月  29 14:12 masterha_check_status
-r-xr-xr-x. 1 root root  3201 6月  29 14:12 masterha_conf_host
-r-xr-xr-x. 1 root root  2517 6月  29 14:12 masterha_manager
-r-xr-xr-x. 1 root root  2165 6月  29 14:12 masterha_master_monitor
-r-xr-xr-x. 1 root root  2373 6月  29 14:12 masterha_master_switch
-r-xr-xr-x. 1 root root  3879 6月  29 14:12 masterha_secondary_check
-r-xr-xr-x. 1 root root  1739 6月  29 14:12 masterha_stop
-r-xr-xr-x. 1 root root  7401 6月  29 13:50 purge_relay_logs
-r-xr-xr-x. 1 root root  7395 6月  29 13:50 save_binary_logs

其他四台安装

nobe   slave1   slave2    slave3

yum -y install mariadb mariadb-server mariadb-devel

[root@slave2 mha4mysql-node-0.56]# yum -y install mariadb mariadb-server mariadb-devel

[root@slave2 mha4mysql-node-0.56]# systemctl start mariadb 启动
[root@slave2 mha4mysql-node-0.56]# mysqladmin -u root password 123456  设置登陆密码

搭建主从复制环境

nobe   slave1 配置

nobe主机添加

[mysqld]

server-id=1
log-bin=master-bin
log-slave-updates=true
relay_log-purge=0

 slave1主机添加
[mysqld]

server-id=2
log-bin=master-bin
log-slave-updates=true   从库做为其他从库的主库时 log-slave-updates参数是必须要添加的，因为从库要作为其他从库的主库，必须添加该参数
relay_log-purge=

slave2    slave3   配置

slave2 主机
[mysqld]
server-id=3
log-bin=mysql-bin
relay-log=slave-relay-bin
log-slave-updates=true
relay_log_purge=0


slave3 主机
[mysqld]
server-id=4
log-bin=mysql-bin
relay-log=slave-relay-bin
log-slave-updates=true
relay_log_purge=0

重启服务

备份如果有的话  旧数据备份传给从

mysqldump --master-data=2 --single-transaction -R --triggers -A -u root -p > all.sql

--master-data=2    备份时刻记录master的Binlog位置和Position
--single-transaction	获取一致性快照
-R    备份存储过程和函数
-triggres   备份触发器
-A    备份所有的库
scp all.sql 192.168.200.112:/tmp/

备份MySQL数据库的命令。它将使用mysqldump命令将所有数据库的数据和结构导出到一个名为all.sql的文件中。其中的选项--master-data=2将在导出时包含二进制日志文件和位置信息，--single-transaction将在导出时使用单个事务来确保一致性，-R将导出存储过程和函数，--triggers将导出触发器，-A将导出所有数据库，-u root -p表示使用root用户登录MySQL数据库。

接下来的命令scp all.sql 192.168.200.112:/tmp/是将all.sql文件通过SCP协议复制到IP地址为192.168.200.112的主机的/tmp/目录下

授权给数据库

都要操作nobe   slave1   slave2    slave3

MariaDB [(none)]> grant replication slave on *.* to 'repl'@'192.168.1.%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)

刷新flush privileges;
 

查看主状态

MariaDB [(none)]>  show master status;
+-------------------+----------+--------------+------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------+----------+--------------+------------------+
| master-bin.000003 |      849 |              |                  |
+-------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

slave1   slave2    slave3同意操作指定主

 看到两个yes成功

                                                              这里

slave1   slave2    slave3设置read_only状态

MariaDB [(none)]> set global read_only=1;
Query OK, 0 rows affected (0.00 sec)

从库对外只提供读服务，只所以没有写进mysql配置文件，是因为随时server02会提升为master

 nobe   slave1   slave2    slave3创建监控用户

MariaDB [(none)]> grant all privileges on *.* to 'root'@'192.168.1.%' identified  by '123456';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;      刷新
Query OK, 0 rows affected (0.00 sec)

nobe   slave1   slave2    slave3都为自己的主机名授权

slave1里授权
MariaDB [(none)]> grant all privileges on *.* to 'root'@'slave1' identified  by '123456';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;     刷新
Query OK, 0 rows affected (0.00 sec)


slave2里授权
MariaDB [(none)]> grant all privileges on *.* to 'root'@'slave2' identified  by '123456';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;    刷新
Query OK, 0 rows affected (0.00 sec)


slave3里授权
MariaDB [(none)]> grant all privileges on *.* to 'root'@'slave3' identified  by '123456';
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;    刷新
Query OK, 0 rows affected (0.00 sec)

配置MHA环境

创建配置目录复制模板文件    mkdir /etc/masterha

[root@manager ~]# mkdir  /etc/masterha
[root@manager ~]# cp /mha4mysql-manager-0.56/samples/conf/app1.cnf /etc/masterha
软件包解压后的目录里面有样例配置文件

修改配置文件

[server default]
manager_workdir=/var/log/masterha/app1
manager_log=/var/log/masterha/app1/manager.log
master_binlog_dir=/var/lib/mysql
master_ip_failover_script= /usr/local/bin/master_ip_failover



password=123456
user=root
#ping包的时间间隔
ping_interval=1
#设置远端mysql在发生切换时保存binlog的具体位置
remote_workdir=/tmp
#设置复制用户的密码和用户名
repl_password=123456
repl_user=repl


[nobe]
hostname=nobe
port=3306

[server1]
hostname=slave1
candidate_master=1
port=3306
check_repl_delay=0

[server2]
hostname=slave2
port=3306

[server3]
hostname=slave3
port=3306

配置故障转移脚本

vim /usr/local/bin/master_ip_failover

#!/usr/bin/env perl 

use strict; 
use warnings FATAL => 'all'; 
use Getopt::Long; 
my ( 
$command, $ssh_user, $orig_master_host, $orig_master_ip, 
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port, 
); 
my $vip = '192.168.1.100';     #随便写   只要在同网段   	
my $key = "1"; 	
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down"; 
$ssh_user = "root"; 
GetOptions( 
'command=s' => \$command, 
'ssh_user=s' => \$ssh_user, 
'orig_master_host=s' => \$orig_master_host, 
'orig_master_ip=s' => \$orig_master_ip, 
'orig_master_port=i' => \$orig_master_port, 
'new_master_host=s' => \$new_master_host, 
'new_master_ip=s' => \$new_master_ip, 
'new_master_port=i' => \$new_master_port, 
); 
exit &main(); 
sub main { 
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n"; 
if ( $command eq "stop" || $command eq "stopssh" ) { 
# $orig_master_host, $orig_master_ip, $orig_master_port are passed. 
# If you manage master ip address at global catalog database, 
# invalidate orig_master_ip here. 
my $exit_code = 1; 
#eval { 
# print "Disabling the VIP on old master: $orig_master_host \n"; 
# &stop_vip(); 
# $exit_code = 0; 
#}; 
eval { 
print "Disabling the VIP on old master: $orig_master_host \n"; 
#my $ping=`ping -c 1 10.0.0.13 | grep "packet loss" | awk -F',' '{print $3}' | awk '{print $1}'`; 
#if ( $ping le "90.0%"&& $ping gt "0.0%" ){ 
#$exit_code = 0; 
#} 
#else { 
&stop_vip(); 
# updating global catalog, etc 
$exit_code = 0; 
#} 
}; 

if ($@) { 
warn "Got Error: $@\n"; 
exit $exit_code; 
} 
exit $exit_code; 
} 
elsif ( $command eq "start" ) {
# all arguments are passed. 
# If you manage master ip address at global catalog database, 
# activate new_master_ip here. 
# You can also grant write access (create user, set read_only=0, etc) here. 
my $exit_code = 10; 
eval { 
print "Enabling the VIP - $vip on the new master - $new_master_host \n"; 
&start_vip(); 
$exit_code = 0; 
}; 
if ($@) { 
warn $@; 
exit $exit_code; 
} 
exit $exit_code; 
} 
elsif ( $command eq "status" ) { 
print "Checking the Status of the script.. OK \n"; 
`ssh $ssh_user\@$orig_master_ip \" $ssh_start_vip \"`; 
exit 0; 
} 
else { 
&usage(); 
exit 1; 
} 
} 
# A simple system call that enable the VIP on the new master 
sub start_vip() { 
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`; 
} 
# A simple system call that disable the VIP on the old_master 
sub stop_vip() { 
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`; 
} 
sub usage { 
print 
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --
new_master_host=host --new_master_ip=ip --new_master_port=port\n"; }

给执行权限

chmod +x /usr/local/bin/master_ip_failover

设置从库relay log的清除方式

mysql -uroot -p123456 -e 'set global relay_log_purge=0;'

MHA在故障切换的过程中，从库的恢复过程依赖于relay log的相关信息，所以这里要将relay log的自动清除设置为OFF，采用手动清除relay log的方式。在默认情况下，从服务器上的中继日志会在SQL线程执行完毕后被自动删除。但是在MHA环境中，这些中继日志在恢复其他从服务器时可能会被用到，因此需要禁用中继日志的自动清除功能。定期清除中继日志需要考虑到复制延时的问题。在ext3的文件系统下，删除大的文件需要一定的时间，会导致严重的复制延时。为了避免复制延时，需要暂时为中继日志创建硬链接，因为在linux系统中通过硬链接删除大文件速度会很快。（在mysql数据库中，删除大表时，通常也采用建立硬链接的方式）

 检查MHA ssh通信状态   masterha_check_ssh --conf=/etc/masterha/app1.cnf

 成功

检查整个集群的状态     masterha_check_repl --conf=/etc/masterha/app1.cnf

 上面可以看到 有四台主机被监控

Thu Jun 29 20:19:52 2023 - [info] Dead Servers:
Thu Jun 29 20:19:52 2023 - [info] Alive Servers:
Thu Jun 29 20:19:52 2023 - [info]   nobe(192.168.1.119:3306)
Thu Jun 29 20:19:52 2023 - [info]   slave1(192.168.1.125:3306)
Thu Jun 29 20:19:52 2023 - [info]   slave2(192.168.1.128:3306)
Thu Jun 29 20:19:52 2023 - [info]   slave3(192.168.1.137:3306)

成功

检查manager状态   masterha_check_status --conf=/etc/masterha/app1.cnf

[root@manager ~]# masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:55666) is running(0:PING_OK), master:nobe
成功
NOT_RUNNING"，代表MHA监控没有开启

没开启就执行以下命令 在尝试

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover< /dev/null >/var/log/masterha/app1/manager.log 2>&1 &

 测试监控主机完成配置之后可以查看nobe数据库网卡以获得vip

[root@nobe ~]#  ip a | grep ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    inet 192.168.1.119/24 brd 192.168.1.255 scope global noprefixroute dynamic ens33
    inet 192.168.1.100/24 brd 192.168.1.255 scope global secondary ens33:1

100就是在脚本里设置的

测试模拟主库故障 nobe 主机关闭 systemctl stop mariadb

[root@nobe ~]#  systemctl stop mariadb

manager查看

[root@manager ~]# masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:55666) is running(0:PING_OK), master:nobe
[root@manager ~]#  masterha_check_repl --conf=/etc/masterha/app1.cnf
Thu Jun 29 20:31:29 2023 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jun 29 20:31:29 2023 - [info] Reading application default configurations from /etc/masterha/app1.cnf..
Thu Jun 29 20:31:29 2023 - [info] Reading server configurations from /etc/masterha/app1.cnf..
Thu Jun 29 20:31:29 2023 - [info] MHA::MasterMonitor version 0.56.
Thu Jun 29 20:31:30 2023 - [info] Dead Servers:
Thu Jun 29 20:31:30 2023 - [info] Alive Servers:
Thu Jun 29 20:31:30 2023 - [info]   slave1(192.168.1.125:3306)
Thu Jun 29 20:31:30 2023 - [info]   slave2(192.168.1.128:3306)
Thu Jun 29 20:31:30 2023 - [info]   slave3(192.168.1.137:3306)

slave1查看  已经变成主了

[root@slave1 ~]# ip a | grep ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    inet 192.168.1.125/24 brd 192.168.1.255 scope global noprefixroute dynamic ens33
    inet 192.168.1.100/24 brd 192.168.1.255 scope global secondary ens33:1

manager查看配置文件   nobe已经没了

[root@manager ~]# vim /etc/masterha/app1.cnf 

[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/var/lib/mysql
master_ip_failover_script=/usr/local/bin/master_ip_failover
password=123456
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=repl
user=root

[server2]
candidate_master=1
check_repl_delay=0
hostname=slave1
port=3306

[server3]
hostname=slave2
port=3306

[server4]
hostname=slave3
port=3306
~              

恢复

MariaDB [(none)]> CHANGE MASTER TO  MASTER_HOST='192.168.1.125', MASTER_USER='repl', MASTER_PASSWORD='123456',  MASTER_LOG_FILE='master-bin.000002',  MASTER_LOG_POS=2323;
Query OK, 0 rows affected (0.01 sec)    从新指定主

MariaDB [(none)]> start slave;       启动
Query OK, 0 rows affected (0.01 sec)

MariaDB [(none)]> show slave status\G      查看
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.125
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000002
          Read_Master_Log_Pos: 2323
               Relay_Log_File: mariadb-relay-bin.000002
                Relay_Log_Pos: 530
        Relay_Master_Log_File: master-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

manager  从新写入 查看

[root@manager ~]# vim /etc/masterha/app1.cnf

      恢复了

[root@manager ~]# vim /etc/masterha/app1.cnf 
[root@manager ~]#  masterha_check_repl --conf=/etc/masterha/app1.cnf
Thu Jun 29 21:32:15 2023 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jun 29 21:32:15 2023 - [info] Reading application default configurations from /etc/masterha/app1.cnf..
Thu Jun 29 21:32:15 2023 - [info] Reading server configurations from /etc/masterha/app1.cnf..
Thu Jun 29 21:32:15 2023 - [info] MHA::MasterMonitor version 0.56.
Thu Jun 29 21:32:16 2023 - [info] Dead Servers:
Thu Jun 29 21:32:16 2023 - [info] Alive Servers:
Thu Jun 29 21:32:16 2023 - [info]   nobe(192.168.1.119:3306)
Thu Jun 29 21:32:16 2023 - [info]   slave1(192.168.1.125:3306)
Thu Jun 29 21:32:16 2023 - [info]   slave2(192.168.1.128:3306)
Thu Jun 29 21:32:16 2023 - [info]   slave3(192.168.1.137:3306)
Thu Jun 29 21:32:16 2023 - [info] Alive Slaves:

结束