MHA+MYSQL+KEEPALIVED实现数据库的高可用

最新推荐文章于 2023-12-27 11:20:54 发布

zerozhuxiaozhu

最新推荐文章于 2023-12-27 11:20:54 发布

阅读量1.5k

点赞数

分类专栏： linux mysql 文章标签： mysql 架构

本文链接：https://blog.csdn.net/zerozhuxiaozhu/article/details/78277705

版权

本文介绍了MHA（Master High Availability）在MySQL高可用性环境中的作用，详细阐述了MHA的原理和优势，如快速故障切换、数据一致性保证。此外，还详细说明了配置MHA、主从同步、节点间免密、MHA Manager与Node的安装以及Keepalived的配置，以实现通过VIP漂移切换服务器，确保数据库的高可用性。

摘要由CSDN通过智能技术生成

mha原理简介：

注：原理来源于http://blog.itpub.net/20625855/viewspace-1649629/和百度百科

一：mha是干啥的？
MySQL MHA架构介绍：

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。（出自：《深入浅出MySQL(第二版)》）

在网上找了一个好看的图解释
这里写图片描述

MHA工作原理总结为以下几条：
（1）从宕机崩溃的master保存二进制日志事件（binlog events）;
（2）识别含有最新更新的slave;
（3）应用差异的中继日志(relay log) 到其他slave;
（4）应用从master保存的二进制日志事件(binlog events);
（5）提升一个slave为新master;
（6）使用其他的slave连接新的master进行复制。
目前高可用方案可以一定程度上实现数据库的高可用，在进行高可用方案选择时，主要是看业务还有对数据一致性方面的要求。最后出于对数据库的高可用和数据一致性的要求，推荐使用MHA架构。
优点：
MHA的一个主要的目标就是实现主从的自动快速切换（10-30s），并且切换过程
不会导致数据不一致问题，同时部署MHA不会导致新增加机器，不需要改变原来的部署结构，不会有性能损失
并且易于安装.
它同时提供了在线切换功能（计划内): 从旧master节点安全的切换到新的master节点，只需要很短的时间
（0.5-2s），并且这个过程中只是阻塞写，不会影响读操作
具体功能点：
1、自动主库监控和failover
MHA具有监控复制环境的中master状态的功能，可以发现master是否不可用，并且完成自动故障切换。在多个
slave情况下，MHA会自动的找到跟最接近主库（the latest）的slave的不同的relay log事件，然后把这些events
应用到其他的slave上，最终所有的slave达到数据一致。正常情况MHA在数秒内能够完成failover（9-12s确认master
不可用，7-10s（可选择）关闭原master所在机器来防止脑裂, 几秒钟来应用不同的relay log，总时间需要10-30s）
另外，可以通过配置文件指定一个候选master。因为MHA会完成slave之间的一致，所以你可以提升任何一个slave
为新的master，并且不会导致不一致问题
2、交互式master failover
可以用MHA只做failover，而不监控master。 MHA提供交换式的master failover
3、非交互式master failover
非交互的master failover在你已经有监控mysql master软件的情况还是有用的，
比如你可以用（Pacemaker）来监控 master状态和vip接管，然后使用MHA做failover和slave提升
4、online switchover
数据库升级，服务器硬件升级等场景
有点总结：
1、master failover和 slave promotion操作会非常迅速。
9-12s发现故障，可选择的7-10s的主机power off，数秒的应用差异relay log。从新选举新的master
后，MHA并行恢复剩余的slave，不管你有1台或者10台，对恢复时间几乎没影响，都能很快完成
2、master crash掉不会导致数据不一致
MHA处理slave间差异的中继日志，达到最终一致，结合半同步复制，几乎
可以认为数据不会丢失
3、无需修改当前的mysql配置（MHA支持mysql5.0+）
MHA的启停、升级降级、安装卸载都不需要停数据库，只是replace就ok了
4、不需要增加大量服务器
MHA由MHA Manager和MHA Node组成，MHA Node在mysql服务器上部署运行，
不需要额外的服务；MHA Manager正常情况运行在专用服务器上，但是一个
MHA Manager 可以监控大量（100+）的master。并且MHA Manager 也可以
运行在slave 上，这样根本不需要增加额外的机器
5、无性能损失
MHA可以在常规的异步复制或半同步复制下工作，它默认3s会向master发送
ping包，没有复杂查询。几乎对性能无影响
6、支持任何存储引擎
这里写图片描述

slave的中继日志里，master的二进制日志的位置被标记“end_log_pos”,通过对比
slave之间的end_log_pos值来确定哪些中继日志没有被全员应用。MHA内部通过这个
原理来修复slaves之间的一致性，在这个基本原理上，MHA做了一些优化和发展，比如
MHA结构包括两个部分：
1、MHA Manager：监控master，控制master failover，扩展的script等
2、MHA Node：解析二进制日志和中继日志，确认差异中继日志，应用差异中继日志等
当MHA Manager执行failover，MHA manger 通过ssh连接MHA Node，调用需要的MHA Node
命令做操作
扩展定制
MHA有很多的扩展点：比如使用MHA更新master的IP（更新全局目录库信息，更新vip等）
如何处理IP有用户自己决定，MHA没有明确强制使用什么方式
三、支持的复制架构：
【1】管理节点的部署：
1、专用管理节点服务器，管理多组服务器:MHA Manager只消耗很少的CPU和内存，可以单个MHA
Manager管理上百组服务器
2、部署到一个slave节点上,节省服务器

【3】 master IP的管理:
方法一：使用vip管理软件，当数据库挂掉，vip自动切换到从库
方法二：使用一个全局目录数据库，当主库切换的时候，对保存的
信息做更新
【4】结合半同步复制:
虽然MHA可以从挂掉的master节点获取二进制日志，但是当master节点
无法连通的时候，MHA无法获取这些可能只存在于master上events，这时候
的failover就会造成数据丢失
半同步复制可以大大降低这种风险，半同步复制能够确保至少有一个
slave获得到了最新的二进制日志，这样MHA即使无法登陆master节点也能
获得到几乎所有的events日志，保证数据的不会丢失

masterha_check_ssh 检查MHA的SSH配置状况 masterha_check_repl 检查MySQL复制状况 masterha_manger 启动MHA 
masterha_check_status 检测当前MHA运行状态 masterha_master_monitor 检测master是否宕机 masterha_master_switch 控制故障转移（自动或者手动） masterha_conf_host 添加或删除配置的server信息

配置

rhel6.5
manager:172.25.67.1 server1 mha
master:172.25.67.2 server2 mysql1
slave:172.25.67.3 server3 mysql2

今天太懒不想画图了，就在本子上画了个草图；
这里写图片描述

哈哈哈哈

一：配置主从同步gtid数据库

1：
数据包

[root@server2 tmp]# ls
mysql-community-client-5.7.17-1.el6.x86_64.rpm  mysql-community-libs-compat-5.7.17-1.el6.x86_64.rpm
mysql-community-common-5.7.17-1.el6.x86_64.rpm  mysql-community-server-5.7.17-1.el6.x86_64.rpm
mysql-community-libs-5.7.17-1.el6.x86_64.rpm

2:安装：

[root@server2 tmp]# rpm -ivh *
warning: mysql-community-client-5.7.17-1.el6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                ########################################### [100%]
   1:mysql-community-common ########################################### [ 20%]
   2:mysql-community-libs   ########################################### [ 40%]
   3:mysql-community-client ########################################### [ 60%]
   4:mysql-community-server ########################################### [ 80%]
   5:mysql-community-libs-co########################################### [100%]

3：配置主目录/etc/ my.cnf
[root@server2 /]# vim /etc/my.cnf

[mysqld]

datadir=/var/lib/mysql   # 从给定目录读取数据库文件
socket=/var/lib/mysql/mysql.sock   # 为MySQL客户程序与服务器之间的本地通信指定一个套接字文件(Linux下默认是/var/lib/mysql/mysql.sock文件)
server_id=2   #设置 server id
gtid_mode=ON       #开启gtid模式
enforce_gtid_consistency=true  #强制gtid一致性，开启后对于特定create table不被支持

log-bin=binlog   #二进制日志
binlog-do-db=test  #同步test库
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

4：开启mysql

[root@server2 mysql]# /etc/init.d/mysqld start
初始化 MySQL 数据库： 2017-10-18T05:44:11.769470Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2017-10-18T05:44:11.838924Z 0 [ERROR] --initialize specified but the data directory has files in it. Aborting.
2017-10-18T05:44:11.838963Z 0 [ERROR] Aborting

                                                           [失败

上述开启mysql失败，检查/var/lib/mysql库发现有未知文件删去即可开启

[root@server2 mysql]# ls
ib_buffer_pool
[root@server2 mysql]# rm -fr *
[root@server2 mysql]# /etc/init.d/mysqld start
初始化 MySQL 数据库：                                      [确定]
Installing validate password plugin:                       [确定]
正在启动 mysqld：                                          [确定]

查看初始化密码
[

root@server2 mysql]# cat /var/log/mysqld.log |grep password
2017-10-18T05:45:35.090024Z 1 [Note] A temporary password is generated for root@localhost: d2v_uQgu5UMa
2017-10-18T05:46:15.805574Z 0 [Note] Execution of init_file '/var/lib/mysql/install-validate-password-plugin.Iaql7S.sql' started.
2017-10-18T05:46:15.880425Z 0 [Note] Execution of init_file '/var/lib/mysql/install-validate-password-plugin.Iaql7S.sql' ended.
2017-10-18T05:46:17.736801Z 0 [Note] Shutting down plugin 'sha256_password'
2017-10-18T05:46:17.736803Z 0 [Note] Shutting down plugin 'mysql_native_password'
2017-10-