mysql高可用之MHA

MHA是一套相对成熟的MySQL高可用方案，能做到在0~30s内自动完成数据库的故障切换操作，在master服务器不宕机的情况下，基本能保证数据的一致性。

在做MHA之前，不要和之前的实验混淆，做好gtid复制就好。(在有报错的时候，先测试主从数据是否同步)

配置数据库集群数据同步

server1,server2,server3基于gtid的半同步复制

在server1和server2上都安装半同步插件

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';	
#每个节点都安装master和slave插件是因为高可用需要每个节点都可以做master或者slave

重启io线程使server1和server2同步

mysql> stop slave io_thread;

mysql> start slave io_thread;

server1和server2都激活半同步插件

mysql> SET GLOBAL rpl_semi_sync_master_enabled =1;

server2上先不用设置这个

mysql> SET GLOBAL rpl_semi_sync_master_timeout =10000000000000000000;	
##半同步超时时间，生产环境应该设置为无穷大，这里这个值是最大值，再大就会报错

mysql> show variables like ‘%rpl%’;

关闭server3上的proxy

killall -9 mysql-proxy (若没有killall命令，yum install psmisc-22.20-11.el7.x86_64 -y)

修改server3的配置：

vim /etc/my.cnf

server_id=3
gtid_mode=ON
enforce_gtid_consistency=ON
log_slave_updates=ON
log_bin=binlog

server3不需要做半同步复制
配置server3
先删除数据目录中的内容 rm -fr /var/lib/mysql/*

启动mysqld

systemctl start mysqld

初始化

mysql_secure_installation

server3上配置mysql的GTID主从复制

mysql> change master to master_host='172.25.40.1', master_user='repl', master_password='Westos+123', master_auto_position=1;
mysql> start slave;

这里如果出现server3无法同步的情况，怎么解决(1236错误)
先查看gtid执行了多少

mysql> show global variables like '%gtid%';
+----------------------------------+------------------------------------------+
| Variable_name                    | Value                                    |
+----------------------------------+------------------------------------------+
| binlog_gtid_simple_recovery      | ON                                       |
| enforce_gtid_consistency         | ON                                       |
| gtid_executed                    | 1a49d884-4b83-11e9-913f-5254008ec469:1-4 |
| gtid_executed_compression_period | 1000                                     |
| gtid_mode                        | ON                                       |
| gtid_owned                       |                                          |
| gtid_purged                      | 1a49d884-4b83-11e9-913f-5254008ec469:1-4 |
| session_track_gtids              | OFF                                      |
+----------------------------------+------------------------------------------+

gtid_executed表示已经执行了多少；gtid_purged表示执行完清除了二进制日志清除了多少
因为日志已经清除，所以slave节点无法同步数据

解决办法：
先在server1上备份所有数据

mysqldump --all-databases --single-transaction --triggers --routines --events --host=127.0.0.1 --port=3306 --user=root --password='Westos+123' > xixi.sql

将xixi.sql发送给server3，然后在server3上进行导入

[root@server3 ~]# mysql -p < xixi.sql

会有报错

[root@server3 ~]# mysql -p < xixi.sql 
Enter password: 

ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.

解决办法：
登录数据库，清除原来数据

mysql> stop slave;

mysql> reset master;

再导入，正常

进入数据库，重新配置复制

mysql> CHANGE MASTER TO MASTER_HOST = '172.25.40.1', MASTER_USER = 'repl', MASTER_PASSWORD = 'Westos+123', MASTER_AUTO_POSITION = 1;

mysql> start slave;

主从复制正常

安装并启用半同步插件

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

mysql> SET GLOBAL rpl_semi_sync_slave_enabled =1;

为了不每次启动数据库都激活插件，写入配置文件（server1 2 3都写，写在配置文件最后）

vim /etc/my.cnf

rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=10000000000000000000

rpl_semi_sync_slave_enabled=1

配置高可用

server4做高可用管理节点

(再开一台server4来做master，因为高可用一般都是奇数个节点，因为如果master挂了，其他从节点需要投票选举一个新的master，偶数节点可能出现投票数相同)

在server4上安装：

yum install -y mha4mysql-manager-0.58-0.el7.centos.noarch.rpm perl-* mha4mysql-node-0.58-0.el7.centos.noarch.rpm

配置免密访问（server4需要连接server1 2 3都免密码）
在server4上：

[root@server4 ~]# ssh-keygen	#生成密钥

[root@server4 ~]# ssh-copy-id server1

[root@server4 ~]# ssh-copy-id server2	#发送密钥

[root@server4 ~]# ssh-copy-id server3

其他3个节点都安装mha4mysql-node-0.58-0.el7.centos.noarch.rpm即可

yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

在server4上配置mha工作目录及配置文件
参考这篇文章

mkdir /etc/masterha

vim /etc/masterha/app1.cnf

[server default]
manager_workdir=/etc/masterha
manager_log=/var/log/masterha.log  # manager 日志文件
master_binlog_dir=/etc/masterha
#master_ip_failover_script= /usr/local/bin/master_ip_failover
#master_ip_online_change_script= /usr/local/bin/master_ip_online_change
password=Westos+123  #MySQL管理帐号和密码
user=root
ping_interval=1
remote_workdir=/tmp
repl_password=Westos+123
repl_user=repl  # 复制帐号和密码
#report_script=/usr/local/send_report
#secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02
#shutdown_script=""
ssh_user=root # 系统ssh用户

[server1]
hostname=172.25.40.1
port=3306

[server2]
hostname=172.25.40.2
port=3306
candidate_master=1
check_repl_delay=0

[server3]
hostname=172.25.40.3
port=3306
no_master=1	##no_master表示这个节点不能作为master

检测ssh连接
[root@server4 masterha]# masterha_check_ssh --conf=/etc/masterha/app1.cnf

发现报错，server1 2 3互相之间不免密
拷贝server4上的密钥给server1 2 3

[root@server4 ~]# scp -r .ssh server1:
[root@server4 ~]# scp -r .ssh server2:
[root@server4 ~]# scp -r .ssh server3:

再检测ssh，成功

接下来检测复制功能

[root@server4 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf

发现有报错
Fri Mar 22 10:03:45 2019 - [error][/usr/share/perl5/vendor_perl/MHA/Server.pm, ln180] Got MySQL error when connecting 172.25.40.2(172.25.40.2:3306) :1130:Host ‘server4’ is not allowed to connect to this MySQL server, but this is not a MySQL crash. Check MySQL server settings.

这是因为server4默认是用root远程连接数据库，但是在配置数据库是已经禁用了root的远程连接

在主库上授权用户

mysql> grant all on *.* to root@'%' identified by 'Westos+123';

再检测发现可能卡住了，因为之前半同步的配置写在了配置文件里，数据不同步就会卡住，在所有节点配置文件里删除半同步配置，只保留之前的

server_id=1
gtid_mode=ON
enforce_gtid_consistency=ON
log_slave_updates=ON
log_bin=binlog

所有节点的配置文件必须一样！！！（前面的内容其实都不需要做 只要保持三个server的my.cnf的内容与这里的一致就可以 三台做好gtid的复制就ok ）
而且三个节点必须有数据（数据必须同步）

再检测，成功

再在两个slave节点设置只读（不写在配置文件里，因为slave随时可能切换为master）

测试manager能否开启

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha.log 2>&1 &

测试手动failover切换
先关闭manager，不关的话切不了，manager就是自动切换的工具

[root@server4 masterha]# masterha_stop --conf=/etc/masterha/app1.cnf

server1:systemctl stop mysqld

手动切换

masterha_master_switch --master_state=dead --conf=/etc/masterha/app1.cnf --dead_master_host=172.25.40.1 --dead_master_ip=172.25.40.1 --dead_master_port=3306 --new_master_host=172.25.40.2 --new_master_port=3306

手动切换之前，需要保证主从同步正常，repl复制用户能够远程连接

中间都选yes

切换成功后，可以在server3上看到它的master已经变成了server2
而server2已经是master了

再手动开启server1，作为slave加入集群

[root@server1 ~]# systemctl start mysqld

mysql> CHANGE MASTER TO MASTER_HOST = '172.25.40.2', MASTER_USER = 'repl', MASTER_PASSWORD = 'Westos+123', MASTER_AUTO_POSITION = 1;

mysql> start slave;

mysql> show slave status\G

至此完成了一次手动切换

这时会在 /etc/masterha 目录下生成一个 app1.failover.complete 文件，是来记录failover情况的，
再进行failover时必须先把这个文件删除，不然不会failover

手动在线切换，刚才是master挂掉后切换

masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=172.25.40.1 --new_master_port=3306 --orig_master_is_new_slave --running_updates_limit=10000

又切换回172.25.40.1为master

测试半自动failover
首先清理app1.failover.complete

开启mha manager

[root@server4 masterha]# nohup masterha_manager --conf=/etc/masterha/app1.cnf &>/dev/null &

mha manager自带守护进程

在server1上查看
[root@server1 ~]# ps ax | grep mysql
 2320 ?        Sl     0:00 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid
 2366 pts/0    S+     0:00 grep --color=auto mysql

看到mysql的进程

kill -9 2320

再查看，发现mysql进程又开启了

[root@server1 ~]# ps ax | grep mysql
 2400 ?        Sl     0:00 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid
 2431 pts/0    S+     0:00 grep --color=auto mysql

在server1上手动关闭mysqld

[root@server1 ~]# systemctl stop mysqld

在server4上查看

[root@server4 masterha]# cat /var/log/masterha.log

发现已经切换，同时manager进程退出，所以全自动需要脚本

先把server1加回集群

mysql> CHANGE MASTER TO MASTER_HOST = '172.25.40.2', MASTER_USER = 'repl', MASTER_PASSWORD = 'Westos+123', MASTER_AUTO_POSITION = 1;

mysql> start slave;

配置脚本和vip漂移
因为用户访问入口只能有一个，所以需要配置vip

编辑master_ip_failover 和 master_ip_online_change 两个脚本
修改内容：

my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";

配置自动添加和删除vip

cp master_ip_failover master_ip_online_change /usr/local/bin
cd /usr/local/
cd bin/
chmod +x master_ip_failover master_ip_online_change

注意在server4的配置文件种 这两行的注释要打开

master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change

目前server2是master，所以先给server2添加vip

[root@server2 ~]# ip addr add 172.25.40.100/24 dev eth0

测试vip漂移

[root@server4 bin]# masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=172.25.40.1 --new_master_port=3306 --orig_master_is_new_slave --running_updates_limit=10000

可以看到切换vip

---

Disabling the VIP - 172.25.40.100/24 on old master: 172.25.40.2

---

---

Enabling the VIP - 172.25.40.100/24 on new master: 172.25.40.1

---

测试全自动切换
在server4上先删除app1.failover.complete

开启manager

nohup masterha_manager --conf=/etc/masterha/app1.cnf &>/dev/null &

然后在master（server1）上关闭mysql，模拟故障

再在server4上查看日志

cat /var/log/masterha.log

可以看到切换成功，vip也成功漂移