【MySQL】mysql实现高可用：MHA

        MHA（Master High Availability）是一套相对成熟的MySQL高可用方案，能做到在0~30s内自动完成数据库的故障切换操作（MySQL主从环境下MASTER宕机后能够自动进行单次故障转移的功能），在master服务器不宕机的情况下，基本能保证数据的一致性。

        它由两部分组成：MHA Manager（管理节点）和 MHA Node（数据节点）。其中，MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave上。MHA Node 则运行在每个mysql节点上，MHA Manager 会定时探测集群中的master节点，当master出现故障时，它自动将最新数据的slave提升为master，然后将其它所有的slave指向新的master。

        在MHA自动故障切换过程中，MHA试图保存master的二进制日志，从而最大程度地保证数据不丢失，当这并不总是可行的，譬如，主服务器硬件故障或无法通过ssh访问，MHA就没法保存二进制日志，这样就只进行了故障转移但丢失了最新数据。可结合MySQL 5.5中推出的半同步复制来降低数据丢失的风险。

1.环境：

IP	主机名	角色	OS
192.168.137.10	master	mysql master、MHA manager、MHA node	Centos7
192.168.137.20	slave01	mysql slave01、MHA node	Centos7
192.168.137.30	slave02	mysql slave02、MHA node	Centos7

2.配置本地hosts：

1. 修改配置文件
vim /etc/hosts
# 添加
192.168.137.10	master
192.168.137.20	slave01
192.168.137.30	slave02
# 把 vim /etc/hosts 传给其他两台机器
scp /etc/hosts 192.168.137.20:/etc/hosts
scp /etc/hosts 192.168.137.20:/etc/hosts
# 修改三台机器名，重启
hostnamectl set-hostname master
hostnamectl set-hostname slave01
hostnamectl set-hostname slave02
reboot

2. 关闭防火墙
systemctl disable --now firewalld
setenforce 0

3. 关闭swap：临时关闭；关闭swap主要是为了性能考虑
swapoff -a
# 通过这个命令查看swap是否关闭了
free
# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab

3.互相通信配置：

1. 获得密钥对
ssh-keygen

2. 发送给对方主机
ssh-copy-id master
ssh-copy-id slave01
ssh-copy-id slave02

4.MySQL主从部署：

4.1安装MySQL5.7

1. 添加 mysql-server 源
mkdir -p /opt/mysql-mha; cd /opt/mysql-mha
yum -y install wget vim && wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm

2. 安装rpm包
rpm -ivh mysql80-community-release-el7-3.noarch.rpm
# 解决报错如，Check that the correct key URLs are configured for this repository.
rpm --import http://repo.mysql.com/RPM-GPG-KEY-mysql-2022 

3. 更新yum缓存
yum clean all && yum makecache

4. 使用yum查看MySQL的仓库，查看MySQL的版本
yum repolist all | grep mysql
# 安装yum-config-manager
yum -y install yum-utils
# 修改为需要的版本，即禁用yum存储库中mysql8.0版本和开启mysql5.7版本
yum-config-manager --disable mysql80-community
yum-config-manager --enable mysql57-community

5. 修改配置：【如下图】
vim /etc/yum.repos.d/mysql-community.repo
# 开始安装mysql server和mysql client
yum install mysql-community-server mysql -y

4.2修改所有MySQL node的配置文件

master 节点：

# [mysql] 添加：
server-id = 1
log-bin=mysql-bin
binlog_format=mixed
log-slave-updates=true

slave01、slave02节点：

# salve01 配置文件
server-id = 2
log_bin=mysql-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index

# salve02 配置文件
server-id = 3
log_bin=mysql-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index

4.3启动或重启服务

systemctl start mysqld
systemctl restart mysqld

# 查看mysql错误日志：
tail -n30  /var/log/mysqld.log

4.4重设mysql的root用户的密码：所有主机都需要设置

1. 查看给的随机密码：
grep 'temporary password' /var/log/mysqld.log
# 或者：
grep 'temporary password' /var/log/mysqld.log |awk -F": " '{print $2}'

2. 使用随机密码登录数据库
mysql -uroot -p

3 重置root密码
# 0：不强制执行任何密码策略
set global validate_password_policy=0;
# 1：密码长度必须至少为 8 个字符
set global validate_password_length=1;
# 修改密码
ALTER user 'root'@'localhost' IDENTIFIED BY 'Alan@1234';

5.配置MySQL一主两从：

5.1所有数据库节点进行mysql授权

1. 从库进行同步使用的用户：三台机器都需要
grant replication slave on *.* to "slave"@"192.168.137.%" identified by "Slave@1234";

2. 创建MHA-manager使用的账户：三台机器都需要
grant all on *.* to 'mha'@"192.168.137.%" identified by "Mha@1234";
# 或：防止slave通过主机名连接不上master
grant all on *.* to 'mha'@"%" identified by "Mha@1234";
FLUSH PRIVILEGES;

5.2在master节点查看数据库偏移量

show master status\G

5.3在两个从服务器：slave1、slave2 上执行同步操作：

change master to 
master_host='192.168.137.10', 
master_user='slave', 
master_password='Slave@1234', 
master_log_file='mysql-bin.000001', 
master_log_pos=398;

# 解析：
change master to 
master_host='192.168.137.10',          # master的IP
master_user='slave',                   # 具有复制权限的MySQL用户名
master_password='Slave@1234',          # master_user 的密码
master_log_file='mysql-bin.000001',    # show master status\G 显示的File内容
master_log_pos=398;                    # show master status\G 显示的Position内容

# 启动slave
start slave;
# 两个slave节点都需要 IO线程和 SQL 线程为yes状态
show slave status \G

# 若 Slave_IO_Running、Slave_SQL_Running 不是yes
防火墙：
网络和端口：ping 192.168.137.10
用户权限：
show grants;
select user,host from mysql.user;
错误日志：
less /var/log/mysqld.log

5.4两个从库都设置为只读模式

由于要实现读写分离，master用于增删改操作，slave用于读取数据
# 通过全局变量 read_only设置。设置值为1，或者on，表示开启。设置值为0或者off，表示关闭
set global read_only=on;
show  global variables like 'read_only';
# 【注意】得退出客户端再登录才会生效

6.安装MHA软件：

下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

MHA软件由两部分组成：Manager工具包和Node工具包：

MHA Manager：

1. masterha_check_ssh：检查MHA的SSH配置状况
2. masterha_check_repl：检查MySQL的复制状况
3. masterha_manager：启动MHA
4. masterha_check_status：检测当前MHA运行状态
5. masterha_master_monitor：检测master是否宕机
6. masterha_master_switch：控制故障转移（自动或手动）
7. masterha_conf_host：添加或删除配置的server信息
8. masterha_stop：关闭MHA

MHA Node:

1. save_binary_logs：保存或复制master的二进制日志
2. apply_diff_relay_logs：识别差异的relay log并将差异的event应用到其它slave中
3. filter_mysqlbinlog：去除不必要的ROLLBACK事件（MHA已不再使用这个工具）
4. purge_relay_logs：消除中继日志（不会堵塞SQL线程）

mkdir /opt/mysql-mha  && cd /opt/mysql-mha

1. 在所有主机上安装 MHA node
# 依赖：在MySQL服务器上安装MHA node所需的perl模块（DBD:mysql）
yum install perl-DBD-MySQL -y
# 下载MHA：
wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58-0.el7.centos.noarch.rpm
# 安装MHA：
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

2. master主机上：安装 MHA manager（110节点上）
# 安装依赖：
yum -y install epel-release
yum -y install perl-Config-Tiny perl-Time-HiRes perl-Parallel-ForkManager perl-Log-Dispatch perl-DBD-MySQL ncftp
# 下载：https://github.com/yoshinorim/mha4mysql-manager/releases/tag/v0.58
wget https://github.com/yoshinorim/mha4mysql-manager/releases/download/v0.58/mha4mysql-manager-0.58-0.el7.centos.noarch.rpm
# 安装：
rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

6.1（master主机上）自定义脚本：master_ip_failover：管理VIP

3. 创建脚本，管理虚拟IP，给脚本添加执行权限
touch /opt/mysql-mha/master_ip_failover
chmod a+x /opt/mysql-mha/master_ip_failover
vim /opt/mysql-mha/master_ip_failover

#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
 
use Getopt::Long;
 
my (
    $command, $orig_master_host, $orig_master_ip,$ssh_user,
    $orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
    $orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);
 
# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.137.200/24';
my $key = '1';
# 这里的网卡名称 “ens33” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I bond0 -c 3 -A $vip";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'orig_master_ssh_port=i' => \$orig_master_ssh_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
    'new_master_ssh_port' => \$new_master_ssh_port,
    'new_master_user' => \$new_master_user,
    'new_master_password' => \$new_master_password
);
 
exit &main();
 
sub main {
    $ssh_user = defined $ssh_user ? $ssh_user : 'root';
    print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";
 
    if ( $command eq "stop" || $command eq "stopssh" ) {
        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    
    elsif ( $command eq "start" ) {
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    
    elsif ( $command eq "status" ) {
        print "检查脚本的状态.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}
 
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
 
sub start_arp() {
    `ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

6.2配置manager节点：

# 创建相关目录（所有节点）
mkdir -p /opt/mysql-mha/mha-node
# manager节点: MHA 的工作目录
mkdir -p /opt/mysql-mha/mha
# 编写配置文件
vim /opt/mysql-mha/mysql_mha.cnf

[server default]
# MHA 访问数据库的账号与密码【上图】
user=mha
password="Mha@1234"
port=3306
# 指定 MHA 的工作目录
manager_workdir=/opt/mysql-mha/mha
#指定管理 manager 日志路径
manager_log=/opt/mysql-mha/manager.log
# 指定 master 节点存放 binlog 的日志文件的目录，以便MHA可以找到master的日志
master_binlog_dir=/var/lib/mysql
# 设置远端mysql在发生切换时 binlog 的保存位置
remote_workdir=/opt/mysql-mha/mha-node
# 指定 主从复制 的mysq用户和密码
repl_user=slave
repl_password=Slave@1234
# 指定检测间隔时间；发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候进行自动failover
ping_interval=1
# 指定一个脚本，该脚本实现了在主从切换之后，将虚拟ip漂移到新的master上
master_ip_failover_script=/opt/mysql-mha/master_ip_failover
# 指定检查的从服务器IP地址.有几个，就用-s选项加几个
# 一旦MHA到master的监控之间出现问题，MHA Manager将会判断其它两个slave是否能建立到master_ip 3306端口的连接
secondary_check_script=/usr/bin/masterha_secondary_check -s 192.168.137.20 -s 192.168.137.30
# 用于故障切换的时候发送邮件提醒
# report_script=/data1/mysql-mha/send_mail

[server1]
hostname=192.168.137.10
port=3306
ssh_user=root
candidate_master=1
check_repl_delay=0

[server2]
hostname=192.168.137.20
port=3306
ssh_user=root
candidate_master=1
check_repl_delay=0

[server3]
hostname=192.168.137.30
port=3306
ssh_user=root
candidate_master=1
check_repl_delay=0

candidate_master=1

--> 设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个从库不是集群中最新的slave，no_master=1正好相反

check_repl_delay=0

--> 默认情况下如果一个slave落后master 超过100M的relay logs的话，MHA将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

6.3在 master上手动启动虚拟iP

第一次配置需要在 master 节点上手动启动虚拟IP，标签要和master_ip_faioverl配置文件中 my $key = '1'; 一样

/sbin/ifconfig ens33:1 192.168.137.200/24

6.4在manager 节点测试 ssh 无密认证

masterha_check_ssh   -conf=/opt/mysql-mha/mysql_mha.cnf
# 若是出现报错，则删除掉密钥，再次把密钥互相给对方

没有报错则说明认证成功

6.5在 manager 节点上测试mysql主从情况：查看整个集群的状态

masterha_check_repl -conf=/opt/mysql-mha/mysql_mha.cnf
#若报错：1.检查防火墙；2.检查MySQL用户权限

没有报错则说明主从复制没问题：

6.6开启MHA Manager监控：

nohup masterha_manager  \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

• --remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
• --mha_manager.log：日志存放位置。
• --ignore_last_failover：在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，
• 默认情况下，MHA 发生切换后会在/opt/mysql-mha/mha/下产生mysql_mha.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为--ignore_last_failover。

master主机宕机后产生的文件

1. 检查MHA Manager的状态：
# 如果正常，会显示“PING_OK”，否则会显示“NOT_RUNNING”，代表MHA监控还没有开启。
masterha_check_status --conf=/opt/mysql-mha/mysql_mha.cnf

2. 查看MHA日志文件：
cat /opt/mysql-mha/manager.log | grep "current master"

3. 关闭MHA Manager监控
masterha_stop --conf=/opt/mysql-mha/mysql_mha.cnf

7.故障测试：

1. 可以看到VIP在我的master主机

# 停掉master主机的 mysql
systemctl stop mysqld

打开slave01，可以看到，VIP漂移到了slave01主机
打开slave02，可以看到，192.168.137.20为主节点
在slave01主机上更改MySQL数据，会同步到slave02主机

8.故障恢复

1. 当前的主库服务器为slave01，在slqve01上查看二进制日志和同步点
show master status;

2. 在已经已经宕机的master服务器上，执行同步操作
# 先恢复mysql服务
systemctl start mysqld
#指向新的master节点进行同步
change master to
  master_host='192.168.137.20',
  master_user='slave',
  master_password='Slave@1234',
  master_log_file='mysql-bin.000001',
  master_log_pos=728;
# 启动 slave
start slave;
# 查看状态
show slave status\G
# 插入数据，同步成功