数据库集群主从复制及高可用相关问题

最新推荐文章于 2023-06-19 20:41:45 发布
最新推荐文章于 2023-06-19 20:41:45 发布
阅读量236 收藏 1
点赞数
分类专栏： Database 文章标签： centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/logn2019/article/details/109122684
版权

文章目录

数据库集群主从复制及高可用相关问题

1、如果主节点已经运行了一段时间，且有大量数据时，如何配置并启动slave节点？

  1. 当一个集群在运行一段时间后，因为面临性能瓶颈需要在加入slave节点需要如下操作：
  2. 在不影响业务的情况下建议保证在访问量少的时候操作。在不停止master主服务器，对所需要同步的数据库做全备份
mysqldump -uroot -p  -A -F --single-transation --master-data=1 --default-character-set=utf8mb4 |gzip >all_database-`date +%F-%T`.sql.gz
  1. 将备份好的数据库通过scp拷贝至所要添加的slave节点上去并解压
scp all_database-date.sql.gz  user@ip:/data/mysql
#并在slave节点上解压
gzip -d all_database-date.sql.gz
  1. 在slave节点上安装与master节点相同版本的数据库并提供好配置文件启动
  2. 修改备份数据库的all_database-date.sql文件将如下内容
#修改sql语句中的此行
CHANGE MASTER TO MASTER_LOG_FILE='hostname.0000##', MASTER_LOG_POS=###;
#添加master的主从复制信息如下
CHANGE MASTER TO 
MASTER_HOST='master_ip',
MASTER_USER='repluser',
MASTER_PASSWORD='replpasswd',
MASTER_LOG_FILE='hostname.0000##',
MASTER_LOG_POS=###;
  1. 启动slave上的数据库并将备份的数据库导入后在mysql中执行 并查看slave状态信息确保主从同步正常
Mysql [(none)]>start slave;
Mysql [(none)]>show slave status;

至此在运行一段时间的主从复制集群中不停机添加一个slave就完成了。

2、当master服务器宕机，提升一个slave成为新的master

  1. 在主从复制中但master服务器宕机后，需要立刻提升一个slave服务器作为主服务器确保业务能正常进行
  2. 查看各节点上的中继日志数据位置 将二进制位置最新的确定所要提升为master节点的服务器
cat /var/lib/mysql/relay-log.info
5
./hostname-relay-bin.0000##
#####
mysql-bin.0000##
#####
0 #
  1. 在确定所需提升的slave服务器后 需要确保改服务器上用于主从同步的账号 以及是否开启二进制日志 并关闭只读配置
#开启二进制日志可以在my.cnf文件中添加该项
log-bin=/path/hostname
reda_only=off
#在mysql 8.0一下和mariadb可以执行下面命令
mysql>grant replication slave on *.* to 'user'@'ip' identified by 'passwd';
#在mysql 8.0上需使用以下命令
mysql>CREATE USER 'user'@'ip' IDENTIFIED BY 'passwd';
mysql>GRANT ALL ON *.* TO 'user'@'ip';
  1. 确保上述功能开启后停止该服务器上的主从复制线程并将该服务器数据进行全备份
#停止主从同步线程并清空主从同步信息
mysql>stop slave;
mysql>reset slave all;
#将该服务器的所有数据库备份
mysqldump -uroot -p  -A -F --single-transation --master-data=1 --default-character-set=utf8mb4 |gzip >all_database-`date +%F-%T`.sql.gz
  1. 分析宕机的master服务器上的二进制日志 尽可能的将未同步的数据恢复出来
  2. 将修复后的数据库文件拷贝到每个服务器上并还原数据库（新master数据库也需要还原）
scp backup.sql  user@ip:/data/mysql
  1. 将其他服务器的主从复制master节点指向新master节点
#还原数据库
mysql>source <backup.sql
#指向新服务器并重启主从复制线程
mysql>CHANGE MASTER TO
MASTER_HOST='ip',
MASTER_USER='repluser',
MASTER_PASSWORD='replpasswd',
MASTER_PORT=3306,
MASTER_LOG_FILE='hostname-bin.0000##', MASTER_LOG_POS=###;
mysql>stop slave;
mysql>reset slave all;

3、构建 MHA 0.58 搭建一个高可用数据库集群

MHA 是备受欢迎的实现主从复制节点高可用的解决方案。在集群中一旦master主节点宕机，能迅速从其他slave节点中选出事先定义好的节点或者是当前数据最新的节点作为新的master节点。建议让服务器自动选择避免数据的丢失，同时平时要做好备份工作避免数据损失。目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从。

  1. 试验规划
节点ip
manage10.0.0.7
master10.0.0.8
node110.0.0.18
node210.0.0.28

试验采用一主两从架构 加上MHA管理节点 并在CentOS 8上实现
说明: mha4mysql-manager-0.56-0.el6.noarch.rpm 不支持CentOS 8，只支持CentOS7 以下版本
说明: mha4mysql-manager-0.58-0.el7.centos.noarch.rpm ,支持MySQL 5.7 ,但和CentOS8版本上的Mariadb -10.3.17不兼容
2. 下载MHA 0.58版本的manage包和node包

#在所有服务器安装node包在MHA管理节点上先安装manage包才能安装node包
yum -y install mha4mysql-manage-0.58-0.el7.centos.noarch.rpm
yum -y install mha4mysql-node-0.58-0.el7.centos.noarch.rpm
  1. 在所有节点之间之间实现ssh key认证 确保MHA可以通过SSH免密通信
[root@mha-manager ~]#ssh-keygen
[root@mha-manager ~]#ssh-copy-id 10.0.0.7
[root@mha-manager ~]#rsync -av .ssh 10.0.0.8:/root/
[root@mha-manager ~]#rsync -av .ssh 10.0.0.18:/root/
[root@mha-manager ~]#rsync -av .ssh 10.0.0.28:/root/
  1. 实现三台机器的主从复制
#在master节点安装mariadb-server
yum install -y mariadb-server
vim /etc/my.cnf
#添加以下行
server-id=7
log-bin
#启动主节点并查看二进制文件位置 记录下来并添加主从同步账号和mha账号
systemctl start mariadb
mysql>show master logs;
mysql>grant replication slave on *.* to 'repluser'@'10.0.0.%' identified by
'passwd';
mysql>grant all on *.* to 'mhauser'@'10.0.0.%' identified by 'passwd';
#在slave节点安装mariadb-server并编辑配置文件
vim /etc/my.cnf
#添加以下行
server_id=##  #不同节点此值各不相同
log-bin=
read_only
relay_log_purge=0
#slave节点配置主从同步信息
msyql>CHANGE MASTER TO MASTER_HOST='10.0.0.7',
MASTER_USER='repluser',
MASTER_PASSWORD='passwd',
MASTER_LOG_FILE='master-bin-log.000001',
MASTER_LOG_POS=###;
mysql>start slave;
mysql>show  slave status;
  1. 提供mha配置文件
mkdir /etc/mastermha/
vim /etc/mastermha/app.cnf
[server default]
user=mhauser #用于远程连接MySQL所有节点的用户,需要有管理员的权限
password=passwd
manager_workdir=/data/mastermha/app/ #目录会自动生成,无需手动创建
manager_log=/data/mastermha/app/manager.log
remote_workdir=/data/mastermha/app/
ssh_user=root #用于实现远程ssh基于KEY的连接,访问二进制日志
repl_user=repluser #主从复制的用户信息
repl_password=passwd
ping_interval=1 #健康性检查的时间间隔
report_script=/usr/local/bin/sendmail.sh #当执行报警脚本
check_repl_delay=0 #默认如果slave中从库落后主库relaylog超过100M，主库不会选择这个从库为新的master，因为这个从库进行恢复需要很长的时间.通过这个参数，mha触发主从切换的时候会忽略复制的延时，通过check_repl_delay=0这个参数，mha触发主从切换时会忽略复制的延时，对于设置candidate_master=1的从库非常有用，这样确保这个从库一定能成为最新的master
master_binlog_dir=/data/mysql/ #指定二进制日志存放的目录,mha4mysql-manager-0.58必须指定,之前版本不需要指定
[server1]
hostname=10.0.0.7
candidate_master=1
[server2]
hostname=10.0.0.17
candidate_master=1 #设置为优先候选master，即使不是集群中事件最新的slave,也会优先当master
[server3]
hostname=10.0.0.27
  1. 检查mha环境
masterha_check_ssh --conf=/etc/mastermha/app.cnf
masterha_check_repl --conf=/etc/mastermha/app.cnf #查看状态
masterha_check_status --conf=/etc/mastermha/app.cnf
  1. 启动MHA
#开启MHA,默认是前台运行
nohup masterha_manager --conf=/etc/mastermha/app.cnf &> /dev/null
#查看状态
masterha_check_status --conf=/etc/mastermha/app.cnf
  1. 模拟master节点宕机
systemctl stop mariadb
#可以收到报警邮箱
#查看slave节点信息 可以看到其中预先定义slave节点成为主节点提供服务
  1. 下次运行MHA需要删除以下文件
ls /data/mastermha/app1/app1.failover.complete -l
/data/mastermha/app1//app1.failover.complete
rm -f /data/mastermha/app1/app1.failover.complete
  1. MHA一般结合keepalive使用实现地址漂移具体配置参考keepalive

4、实战案例：Percona XtraDB Cluster(PXC 5.7）

  1. 配置pxc的yum仓库
#vim pxc.repo
[pxc]
name=pxc repo
baseurl=https://mirrors.tuna.tsinghua.edu.cn/percona/release/$releasever/RPMS/$basearch
gpgchecl=0
  1. 在centos7上需要安装XtraBackup2.4以上版本。三台机器上都用yum安装pxc
#下载并安装xtrabackup2.4
wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.20/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.20-1.el7.x86_64.rpm
yum install -y percona-xtrabackup-24-2.4.20-1.el7.x86_64.rpm
#安装pxc5.7版本
yum install Percona-XtraDB-Cluster-57 -y
  1. 修改配置文件
#修改数据库配置文件
vim /etc/percona-xtradb-cluster.conf.d/mysqld.cnf
#修改server-id为不同值 并启用二进制日志
server-id=1
log-bin
#修改pxc配置文件 参考如下
vim /etc/percona-xtradb-cluster.conf.d/wsrep.cnf
[mysqld]
wsrep_provider=/usr/lib64/galera3/libgalera_smm.so
wsrep_cluster_address=gcomm://10.0.0.7,10.0.0.17,10.0.0.27 #三个节点的IP
wsrep_node_address=10.0.0.7 #各个节点，指定自已的IP
wsrep_cluster_name=pxc-cluster #按实际情况修改
wsrep_node_name=pxc-cluster-node-1 #各个节点，指定自已节点名称
wsrep_sst_auth="sstuser:s3cretPass" #取消本行注释
  1. 启动第一个节点
systemctl start mysql@bootstrap
  1. 获取随机密码并尝试登陆 授权配置文件中的用户账号
grep "temporary password" /var/log/mysqld.log
mysql -uroot -p'passwd'
#修改密码授权用户账号
alter user 'root'@'localhost' identified by 'passwd';
create user 'sstuser'@'localhost' identified by 's3cretPass';
grant all on *.* to  'sstuser'@'localhost';
  1. 启动pxc
#启动第一个节点
systemctl start mysq
#查看第一个节点上的状态信息
mysql> show status like 'wsrep%';
  1. 查看集群信息
#查看集群名字
mysql> SHOW VARIABLES LIKE 'wsrep_node_name';
#查看集群状态信息
mysql>SHOW VARIABLES LIKE 'wsrep_on';
#查看集群节点数量
mysql>SHOW STATUS LIKE 'wsrep_cluster_size';
  1. 可以看到集群节点个数为所部署的机器个数 集群就部署成功了

5、通过 ansible 部署二进制 mysql 8

云笈-Logn
关注
专栏目录
心态炸裂，搭建mha时，在测试主从复制时候报错MySQL Replication Health is NOT OK！！！有点慌！慢慢盘吧！
guguai7的博客
07-31 1678
MHA时测试主从复制报错MySQL Replication Health is NOT OK! 具体报错信息 [root@manager bin]# masterha_check_repl -conf=/etc/masterha/app1.cnf Sat Jul 31 05:23:03 2021 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping. Sat Jul 31 05:23:03 20
数据库主从复制的原理＆集群搭建
qq_53980494的博客
08-19 890
本文主要介绍了构建数据库高可用集群时，主服务器和从服务器之间的主从复制的集体实现，利用了二进制日志的复制机制
redis高级之集群---主从复制（四）---主从复制常见问题
Rision666的博客
06-03 236
频繁的全量复制（1） 伴随着系统的运行，master的数据量会越来越大，一旦master重启，runid将发生变化，会导致全部slave的全量复制操作 内部优化调整方案： master内部创建master_replid变量，使用runid相同的策略生成，长度41位，并发送给所有slave 在master关闭时执行命令shutdown save，进行RDB持久化，将runid与offset保存到RDB文件中 Repl-id repl-offset 通过redis-check-rdb命令可以查看该信息
mysql集群和主从区别_搭建MySQL主从集群，主从复制过程中同步延迟问题
weixin_39776298的博客
12-05 260
上一节我们成功搭建了主从复制、读写分离，实际上并发量和数据量不大的情况下，使用起来也是非常的流畅，无任何问题，可以正常运行了。但是，要保证高可用，高并发的情况，可以写数据库master就有累了，从服务器slave读取数据也很累，在复制的过程中就产生了数据同步延迟问题，导致主服务器上有数据，从服务器没有数据情况，最终导致读写分离失效，访问数据失败。有的网友就说我们可以升级主服务器的配置来解决，我说可...
搭建高性能数据库集群之一：MySQL主从复制（一主一从、双主双从）
hualinger的博客
06-19 3680
主从数据库是什么意思呢，主是主库的意思，从是从库的意思。数据库主库对外提供读写的操作，从库对外提供读的操作。高可用，实时灾备，用于故障切换。比如主库挂了，可以切从库。读写分离，提供查询服务，减少主库压力，提升性能备份数据，避免影响业务。主从复制原理，简言之，分三步曲进行：①主数据库有个 binlog 二进制文件，记录了所有增删改 SQL 语句；②(binlog线程)从数据库把主数据库的binlog文件的 SQL 语句复制到自己的中继日志relaylog；
MySQL集群之PXC（percona）
Lcongming的博客
05-25 498
PXC: Percona XtraDB Cluster，是Percona对Galera的实现 参考仓库：https://mirrors.tuna.tsinghua.edu.cn/percona/release/7/os/x86_64/ 原理：任何一台机器上建立数据，其他数据相互复制 了解： PXC最常使用如下4个端口号： 3306：数据库对外服务的端口号 4444：请求SST的端口号 4567：组成员之间进行沟通的端口号 4568：用于传输IST的端口号 准备：确认防火墙和SELinux关闭 时间同步
PostgreSQL数据库工程师培训实战教程（主从复制、高可用HA、集群架构）
06-29
本教程将深入讲解PostgreSQL数据库工程师所需的技能，包括主从复制、高可用性（HA）以及集群架构等关键知识点。 1. **主从复制**： 主从复制是数据库高可用性的一种常见实现方式，它允许数据在主数据库（master）...
Redis 服务器管理（集群主从复制及高可用）
06-15
这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是...
基于keepalived和GTID的半同步主从复制的高可用MySQL集群
最新发布
03-02
### 基于Keepalived和GTID的半同步主从复制的高可用MySQL集群 #### 一、项目概述 本项目旨在构建一个基于Keepalived和GTID（全局事务标识符）技术的高可用MySQL集群，通过半同步复制机制确保数据的一致性和可靠性...
浅谈“深拷贝”与“浅拷贝”以及相应的错误如何纠正？
超级霸霸强的博客
07-05 936
目录 区分对象的复制与对象的赋值 解析“深拷贝”与“浅拷贝” 浅拷贝 浅拷贝简介 适用情况 当程序中有指针变量时出现错误 深拷贝 深拷贝简介 适用情况 程序如下 两者不同点仅在于拷贝函数 区分对象的复制与对象的赋值 //在定义的同时初始化被称为拷贝 Cstudentstud1=stud2;//也可以写成：stud1(stud2) //在定义之后初始化被称为复制 Cstudentstud1; stud1=stud2; ...
数据库高可用的方案总结
xys2333的博客
03-04 1337
这篇文章主要针对MySQL数据库的高可用方案进行详细总结，高可用架构对于互联网服务基本是标，本文是对各种方案的总结，感兴趣的小伙伴们可以参考一下 可用架构对于互联网服务基本是标配，无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务，但多多少少有一些时候服务不可用，比如某些时候网页打不开，百度不能搜索或者无法发微博，发微信等。一般而言，衡量高可用做到什么程...
搭建MySql数据库的主从及实现双机热备(数据库的高可用)
葫芦娃的博客
08-24 1万+
1. 用的CentOS7,因为CentOS7自带mariadb,所以首先卸载mariadb.不卸载安装mysql会有冲突,以前安装过mysql也要卸载   2. 卸载mariadb                     执行命令(会列出所有的mariadb) rpm -qa | grep mariadb       执行命令删除所有的mariadb yum -y remove m...
mysql 主从复制与集群的区别
lmp5023的博客
03-19 2911
一、主从复制： 主从之间是通过mysql的replication（复制）来保证数据的一致性，相对集群的数据同步方式来讲是异步的，因为异步，所以主从之间复制数据可能会有一点微小的延时，就会出现不一致。 但是主从也有缺点，一个是不满足高可用，master宕机，需要手动切换才行，业务会中断不允许的, 还有就是数据不一致，而不一致可能导致的原因有很多，下面是常见的几点主库或从库意外宕机， 1.宕机可能会造成binlog或者relaylog文件出现损坏，导致主从不一致 2.主库binlog格...
MySQL的Galera Cluster配置说明
tianlianchao1982的专栏
12-02 4947
Galera Cluster介绍 Galera是一个MySQL(也支持MariaDB，Percona)的同步多主集群软件，目前只支持InnoDB引擎。 Cluster配置说明" alt="MySQL的Galera Cluster配置说明" src="http://s1.sinaimg.cn/bmiddle/704836f4tdce55a1fb890&690"> 主要功能: 同步
mysql复制--主从复制配置
热门推荐
daicooper的博客
04-12 8万+
当单台MYSQL服务器无法满足当前网站流量时的优化方案。需要搭建mysql集群技术。 复制功能： 数据分布 负载均衡（读） 备份 高可用和故障切换 MySQL升级测试 复制方式： 主–从复制 主–主复制 半同步复制 复制原理： Mysql中有一种日志叫做bin日志（二进制日志）。这个日志会记录下所有修改了数据库的SQL语句（insert,update,delete,...
搭建数据库集群，主从复制，读写分离
weixin_36450667的博客
04-21 891
一、这段时间因为公司系统经常卡死，原因是因为出现死锁或者同一资源访问时间过长，其他请求等待时间过长的情况，所以公司打算把数据库改成一主一从，可读写分离； 之前对这一块无任何经验，只是听说过，数据库集群已是相当成熟的技术了； 虽然这么说但是在自己实践的过程中，还是遇到好多配置不知道是怎么回事儿，还是踩到好多坑；前前后后耽误好些时间，唉说出来都有些脸红了； 下面就先列出踩得那些坑，几点注意事项和...
MySQL Replication 常用架构
weixin_33895475的博客
11-13 152
前言 MySQLReplicaion本身是一个比较简单的架构，就是一台MySQL服务器（Slave）从另一台MySQL服务器（Master）进行日志的复制然后再解析日志并应用到自身。一个复制环境仅仅只需要两台运行有MySQLServer的主机即可，甚至更为简单的时候我们可以在同一台物理服务器主机上面启动两个mysqldinstance，一个作为Master而另一个作为Slave来完成复制环境的搭...
MySQL数据库主从复制集群搭建原理与实现
* 高可用性：通过主从复制，可以实现数据库的高可用性和负载均衡。 * 读写分离：通过角色服务器，可以实现数据库的读写分离，以便提高数据库的性能和可扩展性。 * 数据备份：通过从库，可以实时地备份主库的更新信息...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值