MHA高可用实验（故障模拟+恢复）

已于 2024-01-12 12:17:01 修改
阅读量1k 收藏 21
点赞数 23
分类专栏： Linux 文章标签： adb linux mysql
于 2023-12-14 17:21:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53772682/article/details/135000150
版权

目录

实验前准备

修改Master、Slave1、Slave2节点服务器上的MySQL主配置文件

Master节点

Slave1节点

Slave2节点

配置mysql一主两从

mysql授权

主从同步

测试

MHA

安装依赖环境

安装node节点

安装manager

配置互信

在Manager服务器上配置MHA

中间测试

故障模拟

故障修复

实验前准备

MHA manager节点服务器：192.168.188.13    MHA node和manager组件
Master节点服务器：192.168.188.14     mysql5.7、MHA node组件
Slave节点服务器1：192.168.188.15     mysql5.7、MHA node组件
Slave节点服务器2：192.168.188.16     mysql5.7、MHA node组件
全都关闭防火墙
systemctl stop firewalld
setenforce 0

Master、Slave1、Slave2服务器上安装mysql

修改Master、Slave1、Slave2节点服务器上的MySQL主配置文件

Master节点

vim /etc/my.cnf
主要是在服务器中做如下设置

重启服务
systemctl restart mysqld

Slave1节点

vim /etc/my.cnf
主要是在服务器中做如下设置

重启服务
systemctl restart mysqld

Slave2节点

vim /etc/my.cnf
主要是在服务器中做如下设置


重启服务
systemctl restart mysqld

在三个节点上创建软链接，方便后续使用
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

配置mysql一主两从

mysql授权

先在三台服务器上进行mysql授权，这一步三台服务器的操作相同，如下
mysql -uroot -p

grant replication slave on *.* to 'myslave'@'192.168.188.%' identified by '123456';
grant all privileges on *.* to 'mha'@'192.168.188.%' identified by 'manager';
flush privileges;


主从同步

在master节点查看二进制文件和偏移量

show master status;


记好这两个值

在Slave1节点和Slave2节点执行同步操作

change master to
master_host='192.168.188.16',
master_user='myslave',master_password='123456',
master_log_file='master-bin.000001',
master_log_pos=1047;



检查一下
show slave status\G
如果下面这两个显示Yes就说明没问题

另外Slave1和Slave2必须设置成只读模式
set global read_only=1;

测试

在Master上的数据库中新建数据

create database test_db;
use db_test;
create table test(id int);
insert into test(id) values (1);


在Slave1和Slave2上的数据库中查询
select * from db_test.test;
能看到插入的数据，说明没问题

MHA

安装依赖环境

在所有服务器（四台）上安装MHA依赖环境
先安装epel源

yum -y install epel-release --nogpgcheck
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

安装node节点

在所有服务器（四台）上安装node组件，每个操作系统版本不一样，我用的CentOS7.6，选择的版本是0.57版本

cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57
perl Makefile.PL
make && make install

安装manager

在MHA Manager服务器上安装manager组件

cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install

配置互信

在所有服务器上配置互信

  1. Manager服务器上配置和三台数据库节点服务器的互信：
    ssh-keygen -t rsa，一直回车就行，密码也空着
    ssh-copy-id 192.168.188.14，需要输入192.168.188.14的root密码
    ssh-copy-id 192.168.188.15，也要root密码
    ssh-copy-id 192.168.188.16，也要root密码
  2. Master节点上配置和Slave1、Slave2节点的互信：
    ssh-keygen -t rsa
    ssh-copy-id 192.168.188.15
    ssh-copy-id 192.168.188.16
  3. Slave1节点上配置和Master、Slave2节点的互信：
    ssh-keygen -t rsa
    ssh-copy-id 192.168.188.14
    ssh-copy-id 192.168.188.16
  4. Slave2节点上配置和Master、Slave1节点的互信：
    ssh-keygen -t rsa
    ssh-copy-id 192.168.188.14
    ssh-copy-id 192.168.188.15

在Manager服务器上配置MHA

  1. 拷贝一份manager的脚本到指定目录
    cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin


    拷贝后的四份文件作用如下：
    master_ip_failover：自动切换时VIP的管理脚本
    master_ip_online_change：在线切换时VIP的管理脚本
    power_manager：故障发生后关闭主机的脚本
    send_report：因故障切换后发送报警的脚本
  2. 复制自动切换时的脚本到/usr/local/bin目录，本实验将使用master_ip_failover脚本来管理VIP和故障切换
    cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin/
  3. 修改master_ip_failover脚本
    vim /usr/local/bin/master_ip_failover
    建议直接删光原本的配置然后复制以下内容，记得把VIP地址和VIP广播地址改成自己的： 
    #!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.188.188'; #指定vip的地址
my $brdc = '192.168.188.255'; #指定vip的广播地址
my $ifdev = 'ens33'; #指定vip绑定的网卡
my $key = '1'; #指定vip绑定的虚拟网卡序列号
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip"; #代表此变量值为ifconfig ens33:1 192.168.188.188
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down"; #代表此变量值为ifconfig ens33:1 192.168.188.188 down
my $exit_code = 0; #指定退出状态码为0
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
## A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

    记得把VIP地址和VIP广播地址改成自己的
  4. 创建MHA软件目录
    mkdir /etc/masterha
    拷贝一份配置文件过来，本实验使用app1.cnf配置文件来管理MySQL节点服务器
    cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha/
    修改app1.cnf配置文件
    vim /etc/masterha/app1.cnf
    依然建议删光原本内容直接复制以下内容： 
    [server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.188.15 -s 192.168.188.16
shutdown_script=""
ssh_user=root
user=mha

[server1]
hostname=192.168.188.14
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.188.15
port=3306

[server3]
hostname=192.168.188.16
port=3306

    有一些地方可能需要改的我已经标在了下面的图中
    每个设置具体的解释如下：
      
    [server default]
manager_log=/var/log/masterha/app1/manager.log #manager日志
manager_workdir=/var/log/masterha/app1　　　　　　　　    #manager工作目录
master_binlog_dir=/usr/local/mysql/data/ #master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便MHA能找到
master_ip_failover_script=/usr/local/bin/master_ip_failover #设置自动failover时候的切换脚本，也就是上面的那个脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change #设置手动切换时候的切换脚本
password=manager #设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码
ping_interval=1 #设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp #设置远端mysql在发生切换时binlog的保存位置
repl_password=123456     #设置复制用户的密码
repl_user=myslave #设置复制用户的用户
report_script=/usr/local/send_report #设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.188.15 -s 192.168.188.16 #指定检查的从服务器IP地址
shutdown_script="" #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用）
ssh_user=root #设置ssh的登录用户名
user=mha #设置监控用户root

[server1]
hostname=192.168.188.14
port=3306

[server2]
hostname=192.168.188.15
port=3306
candidate_master=1
#设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个从库不是集群中最新的slave

check_repl_delay=0
#默认情况下如果一个slave落后master 超过100M的relay logs的话，MHA将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

[server3]
hostname=192.168.188.16
port=3306
  5. 第一次配置时需要在Master节点上手动开启VIP
    /sbin/ifconfig ens33:1 192.168.188.188/24

中间测试

  1. 在manager服务器上测试一下能不能用ssh免认证登录
    masterha_check_ssh -conf=/etc/masterha/app1.cnf
    如下没有报错就没问题
  2. 在manager服务器上测试一下mysql主从连接的情况
    masterha_check_repl -conf=/etc/masterha/app1.cnf
    不管中间出现了什么，最后能看到is OK就说明没问题，如果出现is not OK，那就是没好，慢慢改去吧
  3. 在manager服务器上启动MHA
    丢后台就行 
    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

    参数解释如下：
    --remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
    --manger_log：日志存放位置。
    --ignore_last_failover：在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在日志记录，也就是上面设置的日志app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为--ignore_last_failover。

    查看MHA状态
    masterha_check_status --conf=/etc/masterha/app1.cnf
    当前看到的是master说明没问题

    查看MHA日志
    cat /var/log/masterha/app1/manager.log | grep "current master"
    也可以看到当前的服务器是master节点

    去master服务器查看VIP地址存不存在
    ifconfig

    如果要关闭manager服务，用这个命令
    masterha_stop --conf=/etc/masterha/app1.cnf

故障模拟

（上一步关闭了manager记得打开）

  1. 在manager节点上监视日志（动态查看）
    tail -f /var/log/masterha/app1/manager.log
  2. 在master节点上停止MySQL服务，模拟单点故障
    systemctl stop mysqld
    先观察一下Slave1有没有继承VIP
    ifconfig

    再看一下manager上的日志
    太多了，就看最后一段，能看到旧的master（14）断开后，经过选举产生了新的master（15），说明没问题

    故障切换备选主库的算法：
    1．一般判断从库的是从（position/GTID）判断优劣，数据有差异，最接近于master的slave，成为备选主。
    2．数据一致的情况下，按照配置文件顺序，选择备选主库。
    3．设定有权重（candidate_master=1），按照权重强制指定备选主。
    （1）默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。
    （2）如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。

故障修复

  1. 首先要先修好原master节点上的数据库服务，我们是直接关闭了服务，现在启动就行了
    systemctl restart mysqld
  2. 修复主从关系
    在现在的master节点也就是原Slave1节点上查看二进制文件和同步点
    show master status;


    在原master节点执行同步操作 
    change master to
master_host='192.168.188.15',
master_user='myslave',
master_password='123456',
master_log_file='master-bin.000001',
master_log_pos=895;

    别忘了开启节点
    start slave;
  3. 在manager服务器上修改配置文件
    vi /etc/masterha/app1.cnf
    打开后能发现原来的server1也就是原master不见了，是因为server1失效后这个节点会被直接删除掉


    现在我们把这个节点添加回去
  4. 在manager服务器上启动MHA
      
    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
  5. 再查看一下节点情况
    masterha_check_status --conf=/etc/masterha/app1.cnf
    MHA并没有抢占和非抢占的说法，即使原来的master节点恢复了，它也只能是一个Slave节点了
第97讲：MHA高可用集群模拟主库故障以及修复过程
江晓龙的博客
02-05 1187
我们并没有在MHA中配置强制主库的参数，因此第一个算法不会生效，根据所有从库的信息来看，和主库的数据是一模一样的，不存在数据差异，因此第二个算法也不会生效，而在MHA的配置文件中，是根据主从从节点的顺序来书写的，mysql-1、mysql-2、mysql-3，根据第三个算法，那么当主库故障后，mysql-2这个节点的从库会提升为主库。mysql-2中的从库已经成为新的主库了，当查看slave的状态时，没有任何输出，就表示它是主库。故障的主库已经成功的修复完成，并且已经成为mysql-2新主库的从库。
MHA 高可用配置（故障切换）（理论详解+实验步骤）
Xucf1
02-19 5174
文章目录前言一、概述二、特点三、组成四、原理 前言 在实际的生产环境中，当 MySQL 主从复制和读写分离不能满足实际需求时，就可以考虑 MySQL 高可用群集了 接下来，我们将一起学习使用 MySQL-MHA 实现 MySQL 高可用 一、概述 MHA（Master High Availability）目前在 MySQL 高可用方面是一个相对成熟的解决方案，它由日本 DeNA 公司的 youshimaton（现就职于 Facebook 公司）开发，是一套优秀的作为 MySQL 高可用性环境下故障切
Mysql高可用集群搭建(三) MHA VipHa 故障转移恢复
vc33569的专栏
08-26 1460
MHA VIP漂移配置 常见生产故障解决
MHA 手动故障转移
乐沙弥的世界
04-23 4700
MHA提供了3种方式用于实现故障转移，分别自动故障转移，需要启用MHA监控；在无监控的情况下的手动故障转移以及基于在线手动切换。三种方式可以应对MySQL主从故障的任意场景。本文主要描述在无监控的情形是手动实现故障转移。供大家参考......
MHA故障模拟与恢复
最新发布
chenliang_1120的博客
05-16 675
参考之前写的文章。
MHA的配置及错误模拟与恢复
sjc090132的博客
09-27 1114
MHA的配置及模拟故障修复
MySQL高可用自动故障恢复笔记（MHA）
xiaohu的博客
09-27 947
一、MHA架构 MHA 可以在几秒钟内完成故障转移（9-12 秒检测 master 故障，可选 7-10 秒关闭 master 机器以避免裂脑，几秒钟将差分中继日志应用到新 master，因此总停机时间为一般10-30秒），只要slave不严重延迟复制。在恢复新的 master 后，MHA 并行恢复其余的 slave。即使你有几十个slave，也不影响master恢复时间，你可以很快恢复slave。 在 150 多个 {master, slaves} 环境中使用 MHA。当其中一个主节点崩溃时，MHA
mysql+lvs+keepalive+mha高可用
07-19
5. **测试与监控**：进行故障模拟测试，确保在主服务器故障时，服务能够自动切换且数据一致性不受影响。同时，持续监控系统的运行状态。 通过这个架构，企业可以构建一个高度可靠的MySQL服务环境，降低因单一硬件...
深入理解Mysql MHA高可用集群搭建：从实验到实战
12-28
《深入理解Mysql MHA高可用集群搭建：从实验到实战》 MySQL的高可用性是数据库系统稳定运行的关键，而MHA（Master High Availability）是实现这一目标的重要工具。MHA专注于处理MySQL主从复制架构中的主节点故障，...
数据库+mha+mha+数据库高可用
09-08
5. **测试与维护**：进行故障模拟测试，确保故障切换机制有效，并定期进行健康检查。 MHA的优点在于其自动化程度高，可以快速响应主服务器故障，减少服务中断时间。然而，它也有局限性，例如不支持多主复制、半同步...
mysql mha搭建以及故障切换.
07-07
mysql mha搭建以及故障切换.
Android Studio4.0 运行项目后不自启
魏鹏同学
09-09 631
检查Lanunch是否为：Default Activity
MHA的搭建与故障切换
漠效的博客
02-18 1332
前言 前面介绍了MHA的概念，下面要介绍的MHA的搭建及故障切换的具体操作。 环境 系统：centos7.6 数据库：5.5.60-MariaDB MHA软件版本：mha4mysql-manager-0.56 mha4mysql-node-0.56 master 192.168.92.139 slave1 192.168.92.140 slave2 1...
从master备份中还原master数据库
hxd001_810专栏
11-28 2732
下面是我整理的有关“从master备份中还原master数据库”的常见方法，以期能和大家分享！整体思路1：  在恢复master的备份时要注意：必须在单用户(single user)模式下进行     a.进入单用户模式的方法：        首先，在命令行模式下输入sqlservr -c -f -m或者输入sqlservr -m          其中：-c 可以缩短启动时间，SQL Serve
MHA高可用
lltyyds的博客
12-20 558
目录 一、MHA 1、MHA定义 2.工作原理 3.MHA组成 （1）MHA Node（数据节点） （2）MHA Manager（管理节点） 4.MHA服务角色 5.MHA特点（作用） 二、MHA的搭建 1.初始化环境 2.修改 Master、Slave1、Slave2 节点的主机名 3.主从同步 （1）搭建时间同步，（主从都安装） （2） 配置主从（开启二进制日志） （3）验证 4.安装MHA （1）在所有的服务器上都安装MHA依赖的环境 （2）在所有的服...
MySQL MHA高可用集群实战视频教程
12-21
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，该工具仅适用于MySQL Replication 环境，目的在于维持master主库的高可用性。通过本套课程的学习可以全面掌握MHA技术。
MHA故障怎么办？手把手带你解决故障
专注于php高级知识分享
12-28 1095
Centos7 Mysql5.6.40 MHA故障恢复往期历史模拟故障恢复MHA服务 往期历史 Centos7 Mysql5.6.40 高可用架构–MHA 模拟故障 上篇文章咱们模拟了MHA故障，手动宕掉了主库，看mha切换主库是否成功。切换成功后，mha服务下线（不满足mha 3节点需求，mha服务停止） 恢复MHA服务 恢复服务由于主库宕机原因与宕机时间不同，恢复方法也要差别 如果整台物理机无法使用，则需要重装系统，重装软件，初始化数据库，全备主库然后恢复从库在 change master t
MHA原master宕机后的恢复
qq_34457768的博客
03-14 3052
场景：原master（192.168.1.113）停止，MHA主动把主库功能切换到备用master（192.168.1.24），同时slave（192.168.1.150）指向新的master。1、mha每次自动切换之后都会结束自身进程（可以安装安装一个进程工具，通过该工具结合脚本来管理进程。可以参考官方资料：https://code.google.com/p/mysql-master-ha/wi...
使用MHA发生切换后，将原主库加入集群并切换回最初状态
小小蜗牛 慢慢前行
05-17 3537
环境： M：192.168.111.20 S1: 192.168.111.30 (从1，备主) S2：192.168.111.10 (从2） VIP: 192.168.111.80（这个VIP手工设置在MASTER上） master配置文件： [mysql@MYSQL-SVR1 var]$ vi /etc/masterha/app1.cnf [s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值