MHA高可用配置及故障切换

自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
目前MHA支持一主多从架构，最少三台服务，即一主两从

MHA工作原理

MHA Manger管理多组主从复制。

MHA工作原理总结如下:

从宕机崩溃的master保存二进制日志事件（binlog events) ;
识别含有最新的更新slave日志
应用差异的中继旦志(relay log到其他的slave
应用从master保存的二进制日志事件
提升一个salve为新的master
使其他的slave连接行的master进行复制。

搭建 MySQL MHA

实验思路

MHA架构

数据库安装
一主两从
MHA搭建

实验环境

MHA manager	192.168.200.11
Master	192.168.200.13
Slave1	192.168.200.14
Slave2	192.168.200.15

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

先要做mysql主从复制（步骤参考前面的博客）

配置MYSQL一主两从

所有数据库节点进行 mysql 授权

mysql -uroot -p
grant replication slave on *.* to 'myslave'@'192.168.200.%' identified by '123456';		#从数据库同步使用
grant all privileges on *.* to 'mha'@'192.168.200.%' identified by 'manager';		#manager 使用

grant all privileges on *.* to 'mha'@'master' identified by 'manager';				#防止从库通过主机名连接不上主库
grant all privileges on *.* to 'mha'@'slave1' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave2' identified by 'manager';
flush privileges;

其他两台一样的操作

扩展（报错）：给从服务器授权时，可能会出现密码不符合当前策略要求

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
您的密码不符合当前策略要求

解决方法：
在数据库配置文件中添加一行，关闭密码策略

validate_password=off

在 Master 节点查看二进制文件和同步点

show master status;

change master to master_host='192.168.200.13',master_user='myslave',master_password='123456',master_log_file='master-bin.000002',master_log_pos=1747; 

start slave;

另一台slave一样的操作

测试一下，在master上创建新的数据库和表，在slave上能够看到

安装 MHA 软件

所有服务器上都安装 MHA 依赖的环境

yum install epel-release --nogpgcheck -y

yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

安装MHA 软件包

在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。

cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57
perl Makefile.PL
make && make install

另外两台一样的操作

manager机器上也要先安装依赖环境，然后安装node和manager组件

cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57
perl Makefile.PL
make && make install

cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install

manager组件安装后在/usr/local/bin下面会生成几个工具

在所有服务器上配置无密码认证

在 manager 节点上配置到所有数据库节点的无密码认证

ssh-keygen -t rsa 				#一路按回车键
ssh-copy-id 192.168.200.13     #master
ssh-copy-id 192.168.200.14     #slave1
ssh-copy-id 192.168.200.15     #slave2

在 master 上配置到数据库节点 slave1 和 slave2 的无密码认证

ssh-keygen -t rsa
ssh-copy-id 192.168.200.14
ssh-copy-id 192.168.200.15

在 slave1 上配置到数据库节点 master 和 slave2 的无密码认证

ssh-keygen -t rsa
ssh-copy-id 192.168.200.13
ssh-copy-id 192.168.200.15

在 slave2 上配置到数据库节点 master 和 slave1 的无密码认证

ssh-keygen -t rsa
ssh-copy-id 192.168.200.13
ssh-copy-id 192.168.200.14

在 manager 节点上配置 MHA

在 manager 节点上复制相关脚本到/usr/local/bin 目录

cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

#复制后会有四个执行文件
ll /usr/local/bin/scripts/

修改master_ip_failover脚本

删除原有内容，直接复制并修改vip相关参数

vim /usr/local/bin/master_ip_failover

#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.200.100';									#指定vip的地址
my $brdc = '192.168.200.255';								#指定vip的广播地址
my $ifdev = 'ens33';										#指定vip绑定的网卡
my $key = '1';												#指定vip绑定的虚拟网卡序列号
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";		#代表此变量值为ifconfig ens33:1 192.168.109.100
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";		#代表此变量值为ifconfig ens33:1 192.168.10.100 down
my $exit_code = 0;											#指定退出状态码为0
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
## A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
                                                                                                  
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

mkdir /etc/masterha
cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha

vim /etc/masterha/app1.cnf					#删除原有内容，直接复制并修改节点服务器的IP地址
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.200.13 -s 192.168.200.15
shutdown_script=""
ssh_user=root
user=mha

[server1]
hostname=192.168.200.13
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.200.14
port=3306

[server3]
hostname=192.168.200.15
port=3306

在 manager 节点上测试 ssh 无密码认证

如果正常最后会输出 successfully，如下所示。

masterha_check_ssh -conf=/etc/masterha/app1.cnf

在 manager 节点上测试 mysql 主从连接情况

最后出现 MySQL Replication Health is OK 字样说明正常。

masterha_check_repl -conf=/etc/masterha/app1.cnf

manager服务器上启用监控观察日志

tail -f /var/log/masterha/app1/manager.log

模拟故障

先把master上的mysql服务停止

去manager上看日志，能看到已经飘到slave1上去了

故障修复

master上查看二进制文件和同步点

show master status；

然后去两台slave上执行同步操作

change master to master_host='192.168.200.14',master_user='myslave',master_password='123456',master_log_file='master-bin.000004',master_log_pos=154;

start slave;
set global read_only=1;
flush privileges;
show slave status\G

修改配置文件（再把这个记录添加进去，因为它检测到失效时候会自动消失

[server1]
hostname=192.168.226.129
port=3306

启动manager（在manager那台机器上）

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
masterha_check_status --conf=/etc/masterha/app1.cnf