MySQL MMA高可用配置及故障切换

目录

一.MMA概述

1.什么是MMA

2.MMA工作原理

3.MMA组成

MHA Node（数据节点）

MHA Manager（管理节点）

4.MMA特点

二.案例实施

搭建MySQL MHA高可用及故障切换

1.初始化配置

1.1.关闭防火墙

1.2.开启并修改（MHA manager 服务器）

1.3.修改一下前三台的配置保证同步

1.4.确保前三台MySQL服务正常开启

2.配置主从复制

2.1.修改MySQL节点服务器主机名

2.2.添加映射关系

2.3.修改MySQL主配置文件/etc/my.cnf

2.4.在MySQL节点服务器创建软链接

2.5.登录数据库进行授权 

2.6.配置主从同步

3.配置MHA

3.1.所有服务器安装MHA软件 首先安装epel源

3.2.安装node组件

3.3.所有服务器配置无密码认证

3.4.manager节点配置MHA

3.5.创建MHA软件目录并拷贝配置文件

3.6.在manager节点上测试ssh无密码认证

3.7.在 manager 节点上测试 mysql 主从连接情况

3.8.在manager节点上启动MHA

4.模拟故障切换

---

一.MMA概述

1.什么是MMA

• MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件
• MHA 的出现就是解决MySQL 单点故障的问题
• MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作
• MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用

2.MMA工作原理

• MHA Node 部署在每台MySQL服务器上，MHA Manager 可以单独部署在一台独立服务器上或者某个从库服务器上
• MHA Manager 会定时探测 MySQL 集群中master主库的状态，当主库出现故障，MHA Manager 会自动将一台拥有最新数据的slave从库提升为新的主库，也会在新的主库上生成 写入VIP， 然后还会将其它的从库重新指向新的主库做主从复制，从而保证MySQL集群的高可用。整个故障转移过程对客户端应用来说是完全透明的
   

3.MMA组成

MHA Node（数据节点）

• MHA Node 运行在每台 MySQL 服务器上

MHA Manager（管理节点）

• MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群；也可以部署在一台 slave 节点上
• MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master， 然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明

4.MMA特点

• 自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不失
• 使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
• 目前MHA支持一主多从架构，最少三台服务器，即一主两从

二.案例实施

搭建MySQL MHA高可用及故障切换

实验设计

1. 主库失效
2. 备选主库成为主库
3. 原故障主库恢复重新加入到MHA成为从库

实验组件

节点服务器	系统	主机名	IP地址	安装工具及服务
MHA manager 服务器	CentOS7(64 位)	manager	192.168.80.105	MHA node 和 manager 组件
Master 服务器	CentOS7(64 位)	mysql1	192.168.80.102	MHA node 组件
Slave1 服务器	CentOS7(64 位)	mysql2	192.168.80.103	MHA node 组件
Slave2 服务器	CentOS7(64 位)	mysql3	192.168.80.104	MHA node 组件
VIP：192.168.80.100

1.初始化配置

1.1.关闭防火墙

1.2.开启并修改（MHA manager 服务器）

1.3.修改一下前三台的配置保证同步

       然后重启一下服务

1.4.确保前三台MySQL服务正常开启

2.配置主从复制

2.1.修改MySQL节点服务器主机名

 ##Master 节点##
 hostnamectl set-hostname mysql1
 bash
​
 ##Slave1节点##
 hostnamectl set-hostname mysql2
 bash
 ​
 ##Slave2节点##
 hostnamectl set-hostname mysql3
 bash
 
 ##manager##
 hostnamectl set-hostname manager
 bash

2.2.添加映射关系

2.3.修改MySQL主配置文件/etc/my.cnf

Master节点

vim /etc/my.cnf
[mysqld]
server-id = 1
log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

systemctl restart mysqld

Slave1节点

vim /etc/my.cnf
server-id = 2 						#三台服务器的 server-id 不能一样
log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

Slave2节点

vim /etc/my.cnf
server-id = 3 						#三台服务器的 server-id 不能一样
log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

2.4.在MySQL节点服务器创建软链接

       三个mysql节点服务器均创建

 ln -s /usr/local/mysql/bin/mysql /usr/sbin/
 ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
 ​
 ls /usr/sbin/mysql*     #查看软链接

2.5.登录数据库进行授权 

mysql -u root -pabc123

create user 'myslave'@'192.168.80.%' identified by 'myslave123';

grant replication slave on *.* to 'myslave'@'192.168.80.%';

create user 'manager'@'192.168.80.%' identified by 'manager123';

grant all on *.* to 'manager'@'192.168.80.%';

flush privileges;

2.6.配置主从同步

在 Master 节点查看二进制文件和同步点（即偏移量），在 Slave1、Slave2 节点执行同步操作

##（1）在 Master 节点查看二进制文件和同步点（即偏移量）##
 show master status;

##在 Slave1、Slave2 节点执行同步操作##
change master to master_host='192.168.80.102',master_port=3306, master_user='myslave',master_password='myslave123',master_log_file='mysql-bin.000001',master_log_pos=1241;
 ​
start slave;     #开启同步，如有报错执行 reset slave;
 ​
##在 Slave1、Slave2 查看节点状态##
show slave status\G     

##两个从库必须设置为只读模式##
set global read_only=1;
 ​
##在Master主库插入数据，测试数据库同步##
create database mydb;
use mydb;
 
create table hs101 (id int, name varchar(20), sex char(2));
insert into hs101 values (1, 'zx', '男');
insert into hs101 values (2, 'jlh', '男');
insert into hs101 values (3, 'ctt', '女');
 ​
#从数据库中验证是否同步成功

验证成功

3.配置MHA

注意：这里的epel源安装，不能再用本地源安装，centos7的本地源并没有，需要修改为在线源进行安装

3.1.所有服务器安装MHA软件 首先安装epel源

MHA服务器

vim /etc/yum.conf
----
cachedir=/opt/yumcache
keepcache=1
----
cd /opt
mkdir /opt/yumcache
cd /etc/yum.repos.d
mv repo.bak/* ./
mv local.repo repo.bak
cd /opt/yumcache
yum install -y epel-release

----安装依赖包
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
----
mkdir mha
find ./ -name "*.rpm" -exec mv {} ./mha/ \;    #将依赖包挪入该目录
scp -r mha/ 192.168.80.102:/opt                #将包复制到主服务器
scp -r mha/ 192.168.80.103:/opt                #将包复制到从服务器
scp -r mha/ 192.168.80.104:/opt                #将包复制到从服务器

主服务器

cd /opt
createrepo mha/   #自动生成yum数据库依赖关系
cd mha
----修改目录
vim /etc/yum.repos.d/local.repo
baseurl=file:///opt/mha
-----
----安装依赖包
yum install -y perl-DBD-MySQL \
> perl-Config-Tiny \
> perl-Log-Dispatch \
> perl-Parallel-ForkManager \
> perl-ExtUtils-CBuilder \
> perl-ExtUtils-MakeMaker \
> perl-CPAN
----

从1

cd /opt
createrepo mha/   #自动生成yum数据库依赖关系
cd mha
----修改目录
vim /etc/yum.repos.d/local.repo
baseurl=file:///opt/mha
-----
----安装依赖包
yum install -y perl-DBD-MySQL \
> perl-Config-Tiny \
> perl-Log-Dispatch \
> perl-Parallel-ForkManager \
> perl-ExtUtils-CBuilder \
> perl-ExtUtils-MakeMaker \
> perl-CPAN
----

从2

cd /opt
createrepo mha/   #自动生成yum数据库依赖关系
cd mha
----修改目录
vim /etc/yum.repos.d/local.repo
baseurl=file:///opt/mha
-----
----安装依赖包
yum install -y perl-DBD-MySQL \
> perl-Config-Tiny \
> perl-Log-Dispatch \
> perl-Parallel-ForkManager \
> perl-ExtUtils-CBuilder \
> perl-ExtUtils-MakeMaker \
> perl-CPAN
----

3.2.安装node组件

主服务器

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

从1

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

从2

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

MHA服务器

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install
rz -E
#mha4mysql-manager-0.57.tar.gz
tar xf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install

3.3.所有服务器配置无密码认证

MHA服务器

在 manager 节点上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa 				#一路按回车键
ssh-copy-id 192.168.80.102
ssh-copy-id 192.168.80.103
ssh-copy-id 192.168.80.104

主

在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证
ssh-keygen -t rsa   #一路回车
ssh-copy-id 192.168.80.103
ssh-copy-id 192.168.80.104

从1

在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证
ssh-keygen -t rsa   #一路回车
ssh-copy-id 192.168.80.102
ssh-copy-id 192.168.80.104

从2

在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证
ssh-keygen -t rsa   #一路回车
ssh-copy-id 192.168.80.102
ssh-copy-id 192.168.80.103

3.4.manager节点配置MHA

cd /opt/mha4mysql-manager-0.57/samples
cp -a scripts/ /usr/local/bin
cd /usr/local/bin
cp scripts/master_ip_failover /usr/local/bin

------清空原先master_ip_failover的内容添加以下配置
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
 
use Getopt::Long;
 
my (
    $command, $orig_master_host, $orig_master_ip,$ssh_user,
    $orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
    $orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);
 
# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.80.100/24';
my $key = '1';
# 这里的网卡名称 “ens33” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I ens33 -c 3 -A $vip";
 
GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'orig_master_ssh_port=i' => \$orig_master_ssh_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
    'new_master_ssh_port' => \$new_master_ssh_port,
    'new_master_user' => \$new_master_user,
    'new_master_password' => \$new_master_password
 
);
 
exit &main();
 
sub main {
    $ssh_user = defined $ssh_user ? $ssh_user : 'root';
    print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";
 
    if ( $command eq "stop" || $command eq "stopssh" ) {
 
        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {
 
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}
 
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
 
sub start_arp() {
    `ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

3.5.创建MHA软件目录并拷贝配置文件

创建相关目录（所有节点）

MHA服务器

cd /usr/local/bin/scripts
cp master_ip_online_change power_manager /usr/local/bin/
cd /usr/local/bin/
chmod +x master_ip_failover

cd /opt
mkdir /opt/mysql-mha
cd mysql-mha
mkdir mha-manager
mkdir mha-node

[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha-manager
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
user=manager
password=manager123
port=3306
ping_interval=1
remote_workdir=/opt/mysql-mha/mha-node
repl_user=myslave
repl_password=myslave123
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168. -s 192.168.80.103
shutdown_script=""
ssh_user=root
 
[server1]
hostname=192.168.80.102
port=3306
 
[server2]
hostname=192.168.80.103
port=3306
 
[server3]
hostname=192.168.80.104
port=3306

主

ifconfig ens33:1 192.168.80.100/24

3.6.在manager节点上测试ssh无密码认证

MHA服务器

masterha_check_ssh -conf=/opt/mysql-mha/mysql_mha.cnf
masterha_check_repl -conf=./mysql_mha.cnf   #测试mysql主从连接情况

主从三台都一样

ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

3.7.在 manager 节点上测试 mysql 主从连接情况

MHA服务器

masterha_check_repl -conf=/opt/mysql-mha/mysql_mha.cnf

3.8.在manager节点上启动MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &
 
----------------------------------------------------------------------------------------------------------
--remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
--ignore_last_failover：在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在 app1.failover.complete 日志文件中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换， 除非在第一次切换后删除该文件，为了方便，这里设置为--ignore_last_failover。
----------------------------------------------------------------------------------------------------------
●使用&后台运行程序：结果会输出到终端；使用Ctrl+C发送SIGINT信号，程序免疫；关闭session发送SIGHUP信号，程序关闭。
●使用nohup运行程序：结果默认会输出到nohup.out；使用Ctrl+C发送SIGINT信号，程序关闭；关闭session发送SIGHUP信号，程序免疫。
●使用nohup和&配合来启动程序nohup ./test &：同时免疫SIGINT和SIGHUP信号。
----------------------------------------------------------------------------------------------------------

4.模拟故障切换

MHA服务器

若原master修复完成，如何加入到集群中？

如何恢复原先192.168.80.102做主服务器？

修改MHA服务器

###启动MHA
nohup masterha_manager --conf=/opt/mysql-mha/mysql_mha.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &
###检查状态
masterha_check_status -conf=/opt/mysql-mha/mysql_mha.cnf