MHA高可用及故障切换实验
一、MHA简介
1.1、MHA(Master High Availability)
目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。
该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时,它可以自动将最新数据的slave提升为新的master,然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。
在MHA自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据的不丢失,但这并不总是可行的。例如,如果主服务器硬件故障或无法通过ssh访问,MHA没法保存二进制日志,只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制,可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志,MHA可以将最新的二进制日志应用于其他所有的slave服务器上,因此可以保证所有节点的数据一致性。
1.2、MHA工作原理总结为以下几条:
1、从宕机崩溃的master保存二进制日志事件(binlog events);
2、识别含有最新更新的slave;
3、应用差异的中继日志(relay log)到其他slave;
4、应用从master保存的二进制日志事件(binlog events);
5、提升一个slave为新master;
6、使用其他的slave连接新的master进行复制。
官方介绍:https://code.google.com/archive/p/mysql-master-ha/
二、实验架构设计
2.1、基本环境
· 操作系统版本:CentOS 7.6
· MySQL版本:5.6.14
· VIP(虚IP):172.16.1.100
· 主机信息:见表1
角色 | IP | 主机名 | MYSQL版本 | server_id | VIP |
---|---|---|---|---|---|
Master | 20.0.0.30 | MYSQL1 | 5.7 | 1 | 20.0.0.33 |
Master-Slave | 20.0.0.31 | MYSQL2 | 5.7 | 2 | |
Slave | 20.0.0.32 | MYSQL3 | 5.7 | 3 | |
Manager | 20.0.0.34 | MHA-Manager | 5.7 |
实验思路:
1.MHA架构
1)数据库安装
2)一主两从
3)MHA搭建
2.故障模拟
1)主库失效
2)备选主库成为主库
3)从库2将备选主库指向为主库
2.2 一主两从搭建
1. 安装编译依赖的环境
[root@localhost ~]# yum -y install \
ncurses-devel \
gcc-c++ \
perl-Module-Install
2. 安装 gmake 编译软件
[root@localhost ~]# tar zxvf cmake-2.8.6.tar.gz
[root@localhost ~]# cd cmake-2.8.6
[root@localhost cmake-2.8.6]# ./configure
[root@localhost cmake-2.8.6]# gmake && gmake install
3. 安装 MySQL 数据库
[root@localhost ~]# tar -zxvf mysql-5.6.36.tar.gz
[root@localhost ~]# cd mysql-5.6.36
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all \
-DSYSCONFDIR=/etc
[root@localhost mysql-5.6.36]# make && make install
[root@localhost mysql-5.6.36]# cp support-files/my-default.cnf /etc/my.cnf
[root@localhost mysql-5.6.36]# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@localhost ~]# chmod +x /etc/rc.d/init.d/mysqld
[root@localhost ~]# chkconfig --add mysqld
[root@localhost ~]# echo "PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile
[root@localhost ~]# source /etc/profile
[root@localhost ~]# groupadd mysql
[root@localhost ~]# useradd -M -s /sbin/nologin mysql -g mysql
[root@localhost ~]# chown -R mysql.mysql /usr/local/mysql
[root@localhost ~]# mkdir -p /data/mysql
/usr/local/mysql/scripts/mysql_install_db \
--basedir=/usr/local/mysql \
--datadir=/usr/local/mysql/data \
--user=mysql
4.修改主机名,主从分别mysql1、mysql2、mysql3,后面授权是对主机名进行授权所以需要进行修改
[root@localhost ~]# hostnamectl set-hostname mysql1
[root@localhost ~]# su
5.做名称解析,主从都要做
[root@mysql1 ~]# vi /ect/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
20.0.0.30 mysql1 ####添加一下三行,ip地址根据自己设置进行修改
20.0.0.31 mysql2
20.0.0.32 mysql3
[root@mysql1 ~]# ping mysql2 ###设置好ping一下从机主机名能ping通说明没问题
PING mysql2 (20.0.0.31) 56(84) bytes of data.
64 bytes from mysql2 (20.0.0.31): icmp_seq=1 ttl=64 time=0.490 ms
64 bytes from mysql2 (20.0.0.31): icmp_seq=2 ttl=64 time=0.396 ms
64 bytes from mysql2 (20.0.0.31): icmp_seq=3 ttl=64 time=0.390 ms
64 bytes from mysql2 (20.0.0.31): icmp_seq=4 ttl=64 time=0.366 ms
6. 修改 Master 的主配置文件/etc/my.cnf 文件,三台服务器的
server-id 不能一样
[root@Mysql1 ~]# cat /etc/my.cnf ####修改mysql1
[client]
port = 3306
#default-character-set=utf8 ###这里字符集一定要注释掉,不然后面健康检查会报错 细节
socket = /usr/local/mysql/mysql.sock
[mysqld]
server-id = 1 ###重点每台都不能一样
log_bin = master-bin ###开启二进制日志
log-slave-updates = true ###允许进行同步
配置从服务器:mysql2
在/etc/my.cnf 中修改或者增加下面内容。
[root@Mysql2 ~]# vim /etc/my.cnf
[client]
port = 3306
#default-character-set=utf8 ###这里字符集一定要注释掉,不然后面健康检查会报错 细节
socket = /usr/local/mysql/mysql.sock
[mysqld]
server-id = 2
log_bin = master-bin
relay-log = relay-log-bin ####中继日志要开启
relay-log-index = slave-relay-bin.index ###索引要开启
配置从服务器:mysql3
在/etc/my.cnf 中修改或者增加下面内容。
[root@Mysql2 ~]# vim /etc/my.cnf
[client]
port = 3306
#default-character-set=utf8 ###这里字符集一定要注释掉,不然后面健康检查会报错 细节
socket = /usr/local/mysql/mysql.sock
[mysqld]
server-id = 3
log_bin = master-bin
relay-log = relay-log-bin ####中继日志要开启
relay-log-index = slave-relay-bin.index ###索引要开启
[root@mysql1 ~]# systemctl restart mysqld ####配置文件修该完一定要刷新一下
7. Mysql1、Mysql2、Mysql3 分别做两个软链接
[root@Mysql1 ~]# ln -s /usr/local/mysql/bin/mysql /usr/sbin/
[root@Mysql1 ~]# ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
8、Mysql1、Mysql2、Mysql3 分别启动 MySQL。
[root@Mysql1 ~]# systemctl start mysqld
9.配置 MySQL 一主两从
1. 授权,步骤如下:
在所有数据库节点上授权两个用户,一个是从库同步使用,另外一个是 manager 使用。
mysql> grant replication slave on *.* to 'myslave'@'20.0.0.%' identified by
'123456';
mysql> grant all privileges on *.* to 'mha'@'20.0.0.%' identified by
'manager';
mysql> flush privileges;
2. 在 Mysql1 主机上查看二进制文件和同步点
mysql> show master status;
+-------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 | 1523 | | | |
+-------------------+----------+--------------+------------------+-------------------
3. 接下来在 Mysql2 和 Mysql3 分别执行同步。
mysql> change master to master_host='20.0.0.30',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1050;
mysql> start slave;
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 20.0.0.30
Master_User: myslave
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-bin.000004
Read_Master_Log_Pos: 154
Relay_Log_File: relay-log-bin.000005
Relay_Log_Pos: 369
Relay_Master_Log_File: master-bin.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
显示双yes说明主从同步已经建立好了
必须设置两个从库为只读模式:
mysql> set global read_only=1;
去主master建个库,在从上面看下有没有同步
#### mysql1上创建
mysql> create database school;
Query OK, 1 row affected (0.00 sec)
###### mysql2、3上查询下
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| school |
| sys |
+--------------------+
5 rows in set (0.00 sec)
#### 验证没问题
三、MHA
################安装 MHA 软件#################
1. 所有服务器上都安装 MHA 依赖的环境,首先安装 epel 源。
[root@MHA-manager ~]# yum install epel-release --nogpgcheck -y ####安装扩展源
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
2. MHA 软件包对于每个操作系统版本不一样,这里 CentOS7.6 选择 0.57 版本,
在<注意:所有服务器>上必须先安装 node 组件,最后在 MHA-manager 节点上安装 manager 组件,
因为 manager 依赖 node 组件,下面都是在 Mysql1 上操作演示安装 node 组件。
[root@localhost ~]# tar zxvf mha4mysql-node-0.57.tar.gz
[root@localhost ~]# cd mha4mysql-node-0.57
[root@localhost mha4mysql-node-0.57]# perl Makefile.PL
[root@localhost mha4mysql-node-0.57]# make && make install
3. 在 MHA-manager 上安装 manager 组件
[root@localhost mha4mysql-node-0.57]# cd ~
[root@localhost ~]# tar zxvf mha4mysql-manager-0.57.tar.gz
[root@localhost ~]# cd mha4mysql-manager-0.57
[root@localhost mha4mysql-manager-0.57]# perl Makefile.PL
[root@localhost mha4mysql-manager-0.57]# make && make install
[root@localhost mha4mysql-manager-0.57]# cd ~
4. 配置无密码认证
在 manager 上配置到所有数据库节点的无密码认证
[root@localhost ~]# ssh-keygen -t rsa ###一直按空格,不设置密码
[root@localhost ~]# ssh-copy-id 20.0.0.30
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host '20.0.0.30 (20.0.0.30)' can't be established.
ECDSA key fingerprint is SHA256:0dN16et6qjB9Jw6XVgJpur9TOu0sPqWUuzBt6tE08ss.
ECDSA key fingerprint is MD5:50:ab:bc:a1:ce:86:4a:ec:08:49:63:8b:ff:8e:bd:5f.
Are you sure you want to continue connecting (yes/no)? yes ##这里输入yes
Number of key(s) added: 1 ####这里是1表示设置成功
[root@localhost ~]# ssh-copy-id 20.0.0.31
[root@localhost ~]# ssh-copy-id 20.0.0.32 ####过程同上
[root@localhost ~]# cp -ra /root/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
[root@localhost ~]# ll /usr/local/bin/scripts
total 32
-rwxr-xr-x. 1 1001 1001 3648 May 31 2015 master_ip_failover
-rwxr-xr-x. 1 1001 1001 9870 May 31 2015 master_ip_online_change
-rwxr-xr-x. 1 1001 1001 11867 May 31 2015 power_manager
-rwxr-xr-x. 1 1001 1001 1360 May 31 2015 send_report
##########解释#######
master_ip_failover #自动切换时 VIP 管理的脚本
master_ip_online_change #在线切换时 vip 的管理
master_ip_online_change #在线切换时 vip 的管理
master_ip_online_change #在线切换时 vip 的管理
############################################
[root@localhost ~]# cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
[root@localhost ~]# vi /usr/local/bin/master_ip_failover ###删除原有内容,直接复制
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '20.0.0.33';
my $brdc = '20.0.0.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);
exit &main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
###########################################################################
4. 创建 MHA 软件目录并拷贝配置文件。
[root@MHA-manager ~]# mkdir /etc/masterha
[root@MHA-manager ~]# cp /root/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha/
[root@MHA-manager ~]# vim /etc/masterha/app1.cnf ####清除原有 直接复制修改
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager ####账户
ping_interval=1
remote_workdir=/tmp
repl_password=123456 #####之前设置的密码
repl_user=myslave ##### 账户
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 20.0.0.31-s 20.0.0.32
#####这里的IP是从服务器地址
shutdown_script=""
ssh_user=root
user=mha
[server1]
hostname=20.0.0.30 ###该ip地址,这里有几个server就添加几个
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=20.0.0.31
port=3306
[server3]
hostname=20.0.0.32
port=3306
##########################################
验证ssh 无密码认证,如果正常最后会输出 successfully,如下所示
注意:第一次配置需要去master上手动开启虚拟IP
[root@Mysql1 ~]# /sbin/ifconfig ens33:1 20.0.0.33/24
再去启动MHA
[root@localhost ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
[1] 31924
查看 MHA 状态,可以看到当前的 master 是 Mysql1 节点
[root@localhost ~]# masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:31924) is running(0:PING_OK), master:20.0.0.30
#################验证########################
[root@localhost ~]# tailf /var/log/masterha/app1/manager.log ###开启监控
四、验证模拟故障master宕机,看备机是否接替地址是否漂移
在master上关闭mysql看是否转换主
已经切换了,现在看漂移地址
vip已经转移到新的master上了