MySQL5.7 多源复制搭建过程之分库分表

已于 2022-11-30 17:25:33 修改
阅读量306 收藏 2
点赞数
分类专栏： MySQL 文章标签： python numpy
于 2022-11-02 17:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33283901/article/details/127618580
版权

 

目录

前言

多源复制的使用场景

一、多源复制搭建过程

1.1: master01主节点的服务器my.cnf配置

1.2: master02主节点的服务器my.cnf配置

1.3: node01从节点的服务器my.cnf配置

二、细节配置过程

2.1：在master01和master02的MySQL上创建复制账号

 2.1.1:主节点上查看创建的用户信息

2.2: 在node01的MySQL的数据上创建复制账号

 2.2.1:从节点上查看创建的用户信息

 2.3：在master01和master02中分别使用mysqldump备份出demo 和test 数据库，把传输到node01从节点

 2.3.1：master01上备份导出demo数据库

  2.3.2：master02上备份导出test数据库

2.3.3: 在node01从库上进行恢复操作,需要先创建数据库

这时候报错，说明GTID配置未配置。

2.4: 在从库上分别配置master01->node01 和master02->node01的同步过程

2.5：开启主从复制

2.6：最后一步很关键的步骤，重启从库的mysql服务

2.7：如何清除主从同步配置，从库执行

 

系列文章目录

MySQL 主从复制搭建过程_平凡的小旋风的博客-CSDN博客

MySQL5.7 主从复制GTID复制配置搭建过程_平凡的小旋风的博客-CSDN博客

MySQL主从同步之半同步复制配置_平凡的小旋风的博客-CSDN博客

前言

ec30b3cd1f5540df9aa7a8e10ace631c.png

 

多源复制的使用场景

  1. 需要对各个业务部门的数据进行数据分析，这时候可以使用多源复制，把各个主数据库的数据复制到统一的数据库中。
  2. 在软件开发的时候，使用到了分库分表的情况下，为了实现后期的数据统计功能，这时候可以使用多源复制。
  3. 想把多个数据库的数据同步到一台服务器，可以使用多源复制。

 

一、多源复制搭建过程

备注：master01 和 master02 是主库，node01是从库；两个主库服务器不能有相同的数据库名字，不然会在从库中出现数据覆盖的现象。

3台服务器之间的数据库参数配置要保证开启GTID复制功能（gtid_mode=on 和 enforce_gtid_consistency=on）

1.1: master01主节点的服务器my.cnf配置


[mysqld]
 
port=33306
datadir=/datah/data/mysqldata/mysql
socket=/var/lib/mysql/mysql.sock
 
symbolic-links=0
 
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
character-set-server=utf8
collation-server=utf8_general_ci
lower_case_table_names=1
init_connect='SET NAMES utf8'
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
max_connections=5000
wait_timeout=20000
max_user_connections=5000
max_allowed_packet=128M
thread_stack=262144
 
#skip-grant-tables

#多源复制-master01
###############  start  ####################

server-id=100
log-bin=mysql-bin
binlog_format=row

#开启GTID复制功能
gtid_mode=on
enforce_gtid_consistency=on


###############  end  ####################
 

1.2: master02主节点的服务器my.cnf配置


[mysqld]
 
port=33306
datadir=/datah/data/mysqldata/mysql
socket=/var/lib/mysql/mysql.sock
 
symbolic-links=0
 
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
character-set-server=utf8
collation-server=utf8_general_ci
lower_case_table_names=1
init_connect='SET NAMES utf8'
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
max_connections=5000
wait_timeout=20000
max_user_connections=5000
max_allowed_packet=128M
thread_stack=262144
 
#skip-grant-tables

#多源复制-master02
###############  start  ####################

server-id=101
log-bin=mysql-bin
binlog_format=row

#开启GTID复制功能
gtid_mode=on
enforce_gtid_consistency=on


###############  end  ####################
 

1.3: node01从节点的服务器my.cnf配置


[mysqld]
 
port=33306
datadir=/datah/data/mysqldata/mysql
socket=/var/lib/mysql/mysql.sock
 
symbolic-links=0
 
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
character-set-server=utf8
collation-server=utf8_general_ci
lower_case_table_names=1
init_connect='SET NAMES utf8'
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
max_connections=5000
wait_timeout=20000
max_user_connections=5000
max_allowed_packet=128M
thread_stack=262144
 
#skip-grant-tables

#多源复制-node01
###############  start  ####################

server-id=103
log-bin=mysql-bin
binlog_format=row

#开启GTID复制功能
gtid_mode=on
enforce_gtid_consistency=on

master_info_repository=TABLE
relay_log_info_repository=TABLE


###############  end  ####################

 

二、细节配置过程

2.1：在master01和master02的MySQL上创建复制账号

create user 'mysync'@'172.16.25.%' identified by 'Abc123456';
grant replication slave on *.* to 'mysync'@'172.16.25.%';
flush privileges;

a50493865d2142ce83d1f407d776f0a4.png

 2.1.1:主节点上查看创建的用户信息

use mysql;

select a.User,a.host from user as a;

407b8de209b2452183319c21b31c7ecc.png

 

2.2: 在node01的MySQL的数据上创建复制账号

create user 'mysqlrepl'@'172.16.25.%' identified by 'Abc123456';
grant replication slave on *.* to 'mysqlrepl'@'172.16.25.%';
flush privileges;

25a07afef1ae4de9bb4dd59a9d86944e.png

 2.2.1:从节点上查看创建的用户信息

use mysql;

select a.User,a.host from user as a;

8cd1798e7b3c478eaa796d95323066c5.png

 

 2.3：在master01和master02中分别使用mysqldump备份出demo 和test 数据库，把传输到node01从节点

ff0212abcdb04482ab8ab1490123eae0.png

 2.3.1：master01上备份导出demo数据库

mysqldump -uroot -pAbc123456 --master-data=2 --single-transaction --set-gtid-purged=off demo>/tmp/demo.dmp

cd /tmp/

scp /tmp/demo.dmp root@node01:/tmp/

9567833180514c659b2c70ccc9b7dd75.png

  2.3.2：master02上备份导出test数据库

mysqldump -uroot -pAbc123456 --master-data=2 --single-transaction --set-gtid-purged=off test>/tmp/test.dmp

cd /tmp/

scp /tmp/test.dmp root@node01:/tmp/

11fc6ef2f8544dbfa5021ec8b270dee4.png

2.3.3: 在node01从库上进行恢复操作,需要先创建数据库

ebc9873c38b34e9c83b045258181e5d5.png

mysql -uroot -pAbc123456 demo </tmp/demo.dmp

mysql -uroot -pAbc123456 test </tmp/test.dmp

这时候报错，说明GTID配置未配置。

ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.

提示：两主一从的架构基于MySQL5.7版本的GTID多源复制。

da9de86f861843628f1620fbecbf0029.png

解决办法：在dump导出时，添加--set-gtid-purged=off参数，避免将gtid信息导出

8f34c4cb64a4438781781c3554bfc5ad.png

2.4: 在从库上分别配置master01->node01 和master02->node01的同步过程

change master to master_host='172.16.25.205',
master_user='mysync',
master_password='Abc123456',
master_port=33306,
master_auto_position=1 for channel 'm1';

change master to master_host='172.16.25.206',
master_user='mysync',
master_password='Abc123456',
master_port=33306,
master_auto_position=1 for channel 'm2';

2.5：开启主从复制

start slave for channel 'm1';

start slave for channel 'm2';

2.6：最后一步很关键的步骤，重启从库的mysql服务

systemctl restart mysqld

b5d178e5289b4281b19f0189c6ffda51.png

 662aac5537db412a8b8ed45273d2aab2.png

 

 

 

2.7：如何清除主从同步配置，从库执行

reset slave all

 

 

 

系列文章目录

 

MySQL 主从复制搭建过程_平凡的小旋风的博客-CSDN博客

MySQL5.7 主从复制GTID复制配置搭建过程_平凡的小旋风的博客-CSDN博客

MySQL主从同步之半同步复制配置_平凡的小旋风的博客-CSDN博客

 

温馨提示：如果小编分享的对你有所帮助的话，麻烦点个赞，鼓励一下，小编也不容易。

 

求知若渴，虚心若愚。
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MySQL：多源复制搭建
weixin_43775431的博客
03-08 185
MySQL：多源复制搭建
聊聊MySQL架构演进：从主从复制到分库分表
最新发布
m0_63437643的博客
07-04 83
方案二，采用柔性事务，柔性事务是指，数据库保证局部事务，全局事务实现由业务层实现（如通过调度补偿，重试补偿，人工介入等），柔性事务常见的解决方案有：TCC、利用消息队列实现事务。路由问题，需要业务层根据SQL路由到不同的数据库，路由到SLAVE节点时，还需要保证系统负载均衡。count问题，分表后，如果需要统计表记录总和，需要遍历所有的表，然后再将结果进行汇总，可以通过一张单独的汇总表来解决，但这种解决方案需要每次insert或者delete的时候就需要更新汇总表，如果有一次没有更新，就会导致数据不一致。
MySQL5.7 多主一从（多源复制）同步配置
eagle89的专栏
12-28 3636
多主一从
mysql读写分离和组复制_数据库主从复制，读写分离，负载均衡，分库分表分别表达的什么概念？...
weixin_32409707的博客
01-28 96
谢邀，这是个好问题，而且这个问题好在即使概念非常容易理解，但是这几个不同的概念细节太多太多，而且理解了概念，自己要用，又需要做很多的调研评估和开发工作。作为在这个领域爬坑多年的人，我这里就先介绍下概念，再提供几个开源工具和云服务吧。先来说这些架构解决的问题吧，传统数据库如Mysql(以下工具也会以Mysql为主)，存在的问题就是单机部署，单进程，这样就存在一些问题：资源利用不灵活，有可能cpu的性...
MySQL实现主从复制和读写分离分库分表(1)
lxiwan的博客
02-06 430
MySQL实现主从复制 环境的介绍 系统环境:centos7.0 客户端连接工具:xshell 远程文件传输工具:xftp 服务器: 192.168.126.138(主) 192.168.126.139(从) 安装MySQL 基于rpm实现MySQL的安装 #查看有没有安装MySQL rpm -qa | grep -i mysql #卸载 rpm -e --nodeps mysql-community-client-5.7.28-1.el7.x86_64 #查找 find / -name my
MySQL 5.7多源复制搭建.docx
05-17
MySQL 5.7多源复制搭建.docx
MySQL 5.7 多源复制部署手册
10-12
我们需要清楚 multi-master 与multi-source 复制不是一样的. Multi-Master 复制通常是环形复制，你可以在任意主机上将数据复制给其他主机。
简单讲解MySQL中的多源复制
12-15
近日ORACLE发布几个新的功能在最新的Mysql5.7.2的版本上，由此有了此篇文章。大多数的改善是在数据库性能和复制相关的功能上，这个新版本会带给我们不可思议的效果。 在这篇文章里，我将要用一些简单的步奏来尝试...
linux 之centos7搭建mysql5.7.29的详细过程
09-08
在Linux环境中，特别是在CentOS 7操作系统上搭建MySQL 5.7.29数据库服务器是常见的任务，这对于开发和运维人员来说至关重要。下面将详细介绍这个过程，包括下载、权限管理、安装、配置、初始化、登录以及远程访问等...
mysql-5.7主从复制搭建资源包
10-31
mysql-5.7安装文件，主机点配置文件，从节点配置文件，指导部署文档，数据一致性，数据防丢失，Innodb事务安全保护
Mysql优化、MyCat搭建、分库分表、读写分离、负载均衡
11-15
Mysql优化、MyCat搭建、分库分表、读写分离、负载均衡
基于MySQL 5.7 多源复制的搭建
今天
06-14 185
下面演示一下在MySQL 5.7下搭建多主一从的过程： 实验环境： Master_1: 192.168.10.128 Master_2: 192.168.10.129 Slave_3: 192.168.10.130 一、分别在Master_1和Master_2上导出需要同步的数据库： 在Master_1： [root@Master_1mysql]#mysqldump--skip...
【MySQL8入门到精通】高可用-MySQL多源复制
IT邦德
06-13 6232
在 MySQL 8.0 版本中，提供了多源复制，多源复制的出现对于分库分表的业务提供了极大的便利,本文做了详细的说明
31.6 搭建MySQL多源复制环境
weixin_41275260的博客
06-01 86
31.6　搭建MySQL多源复制环境 MySQL中的多源复制指的是一个MySQL从库有多个MySQL主库，多个MySQL主库之间没有任何主从关系，从库可以同时接收多个主库的数据，主要的应用场景是将多个MySQL中的数据聚合到一个MySQL中。 注意：使用MySQL的多源复制时，为保证从库数据的一致性，需要保证从每个主数据库中复制不同的数据库，或者使用应用程序处理复制数据时产生的数...
MySQL 5.7搭建多源复制
cuantangnie3915的博客
12-11 106
MySQL 5.7版本支持多源复制，MySQL 5.5和5.6不支持。 多源复制可以让多个主节点同时并行进行复制到一个从节点上。一个slave为每个master创建一个复制通道。 至少需要两台主库和一台从库。 多源复制中的...
MySQL 5.7 多主一从（多源复制）同步配置
梦想起飞的地方.........
07-04 895
MySQL 5.7 多主一从（多源复制）同步配置 多主一从，也称为多源复制，数据流向： 主库1 -> 从库s 主库2 -> 从库s 主库n -> 从库s 应用场景 数据汇总，可将多个主数据库同步汇总到一个从数据库中，方便数据统计分析。 读写分离，从库只用于查询，提高数据库整体性能。 部署环境 注：使用docker部署mysql实例，方便快速搭建演示环境。但本文重点是讲解主从配置，因此简略描述docker环境构建mysql容器实例。 数据库：MySQL 5.7....
Mysql 5.7多源复制
chenzenan的专栏
05-15 577
汇聚数据：尤其是在分库分表的一些场景中，数据集中统计分析操作可以在1台从库服务器上实现。 节省成本：数据集中存放可避免服务器等软硬件资源浪费，5.7之前1主1从或者1主多从的方案需要为每个主机都安置一台备机;5.7推出多源复制之后，可以将多个从库进行合并，至于是合并存放在高端还是低端服务器上，取决于分析、统计等业务在整体业务中的优先级、繁忙程度等因素。 集中备份：方便在一台服务器备份所有已收到
MySQL 5.7 Replication 相关新功能说明
weixin_33753003的博客
07-30 212
背景： MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关，所以本文将针对这些新特性放一起进行说明，篇幅可能稍长，本文使用的MySQL版本是5.7.13。 1，多源复制（多主一从） MySQL在5.7之后才支持多源复制，之前介绍过MariaDB 多主一从...
mysql5.7多源复制缺点_MySQL5.7的多源复制
weixin_39669265的博客
02-18 77
MySQL5.7多源复制的实验环境：node1:192.168.2.171主库1node3:192.168.2.170主库2node2:192.168.2.172归档用的从库1、node2上需要配置复制过滤掉mysql库：replicate_wild_ignore_table=mysql.%replicate_wild_ignore_table=test.%### 5.7上可以直接使用stop s...
分库分表+mysql+技术方案分享
02-03
随着数据量的增加和业务的扩展，许多企业开始在使用Mysql数据库时考虑分库分表技术方案。本文将分享关于Mysql分库分表技术方案的原理和架构演变。 Mysql架构演变 Mysql数据库的架构演变经历了多个阶段。初始阶段，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

求知若渴，虚心若愚。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值