Mysql 多源复制

最新推荐文章于 2024-04-26 10:07:20 发布
最新推荐文章于 2024-04-26 10:07:20 发布
阅读量507 收藏 2
点赞数
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22648091/article/details/118241508
版权

在这里插入图片描述

一、配置

启动选项和复制通道

本节介绍受添加复制通道影响的启动选项。

必须正确配置 以下启动设置才能使用多源复制。

  • relay_log_info_repository

    这必须设置为TABLE. 如果此变量设置为FILE，则尝试向副本添加更多源将失败并显示 ER_SLAVE_NEW_CHANNEL_WRONG_REPOSITORY。

  • master_info_repository
    这必须设置为TABLE. 如果此变量设置为FILE，则尝试向副本添加更多源将失败并显示 ER_SLAVE_NEW_CHANNEL_WRONG_REPOSITOR

以下启动选项现在影响 复制拓扑中的所有通道。

slave 接收到的所有事务（甚至来自多个源）都写入自己的二进制日志。

slave 服务器从 master 服务器接收的更新是否应记录到 slave 自己的二进制日志中。

通常，副本不会将从源服务器接收到的任何更新记录到其自己的二进制日志中。启用此变量会导致副本将其复制 SQL 线程执行的更新写入其自己的二进制日志。

下面为多级复制架构
其中 B 必须设置为 true

A --> B --> C

  • relay_log_purge
    设置后，每个通道都会自动清除自己的中继日志。

  • slave_transaction_retries

如果复制 SQL 线程由于InnoDB死锁或事务的执行时间超出 InnoDB’s innodb_lock_wait_timeout或 NDB’s TransactionDeadlockDetectionTimeout 或 TransactionInactiveTimeout，而无法执行事务，则它会在因错误停止之前自动重试 slave_transaction_retries 次。不会重试具有非临时错误的事务。

slave_transaction_retries 的默认值为 10。将变量设置为 0 将禁用事务的自动重试。设置该变量会立即对所有复制通道生效，包括正在运行的通道。

从 MySQL 5.7.5 开始，在副本上启用多线程时支持重试事务。在以前的版本中， slave_transaction_retries 在使用多线程副本时被视为等于 0。

在 performance_schema 库的 replication_applier_status 表中的 COUNT_TRANSACTIONS_RETRIES
列中 显示了在每个复制通道上发生的重试次数。

  • --skip-slave-start

    设置为: ON 时，告诉副本服务器在服务器启动时不要启动复制线程。要稍后启动线程，请使用START SLAVE语句。
    默认值: OFF

  • --slave-skip-errors
    继续执行并跳过所有通道的错误。
    通常，当副本上发生错误时，复制会停止，这让您有机会手动解决数据中的不一致问题。当语句返回选项值中列出的任何错误时，此选项会导致复制 SQL 线程继续复制。

除非您完全理解为什么会出现错误，否则不要使用此选项。如果您的复制设置和客户端程序中没有错误，并且 MySQL 本身没有错误，那么停止复制的错误就不会发生。不加选择地使用此选项会导致副本与源完全不同步，您不知道为什么会发生这种情况

为以下启动选项设置的值适用于每个通道；由于这些是mysqld启动选项，因此它们适用于每个通道。

  • max_relay_log_size= size

    每个通道的单个中继日志文件的最大大小；达到此限制后，文件将被旋转。

  • --relay-log-space-limit=size

    每个单独通道的所有中继日志总大小的上限。对于N 通道，这些日志的组合大小限制为 . relay_log_space_limit * N

  • --slave-parallel-workers= value

    每个通道的工作线程数。

  • slave_checkpoint_group

    每个源的 I/O 线程的等待时间。

  • --relay-log-index=filename

    每个通道的中继日志索引文件的基本名称。请参见 第 16.2.2.4 节，“复制通道命名约定”。

  • --relay-log=filename

    表示每个通道的中继日志文件的基本名称。请参见第 16.2.2.4 节，“复制通道命名约定”。

  • --slave_net-timeout=N

    这个值是为每个通道设置的，因此每个通道都会等待 *N*几秒钟来检查断开的连接。

  • --slave-skip-counter=N

    该值是按通道设置的，因此每个通道都会跳过 *N*其源中的事件。

slave_parallel_workers 为每个通道设置工作线程数，默认值 0

更多参考官方文档

基础信息配置过程

master1

master1 配置文件

master1 IP：192.168.122.24

配置文件添加如下内容到 [mysqld] 配置块下：

log-bin=/var/log/mysql/mysql-bin
server-id=24

# Innodb 引擎的优化
innodb_flush_log_at_trx_commit=1
sync_binlog=1

# 主服务上设置不记录到二进制日志的逻辑库名称，一行一个
binlog-ignore-db=mysql

# 应该在从服务器设置不需要进行复制的逻辑库名称，一行一个
replicate-ignore-db=mysql

# 跳过主机名的解析
skip-name-resolve

master1 创建日志目录

mkdir /var/log/mysql/
chown mysql.mysql /var/log/mysql/

master1 登录会话为 master2 授权

master2 IP: 192.168.122.190

mysql> create user 'repl'@'192.168.122.190' identified by 'QFedu123@';
Query OK, 0 rows affected (0.03 sec)

mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.122.190';
Query OK, 0 rows affected (0.01 sec)

master1 查看当前的二进制日志及其位置

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.01 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      883 |              | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

注意这里是给 mster2 准备的信息

master2

master2 配置文件

master2 IP：192.168.122.190

配置文件添加如下内容到 [mysqld] 配置块下：

log-bin=/var/log/mysql/mysql-bin
server-id=190

innodb_flush_log_at_trx_commit=1
sync_binlog=1

# 主服务上设置不记录到二进制日志的逻辑库名称，一行一个
binlog-ignore-db=mysql

# 应该在从服务器设置不需要进行复制的逻辑库名称，一行一个
replicate-ignore-db=mysql

# 跳过主机名的解析
skip-name-resolve

master2 创建日志目录

mkdir /var/log/mysql/
chown mysql.mysql /var/log/mysql/

master2 登录会话为 master1 授权

master1 IP: 192.168.122.24

mysql> create user 'repl'@'192.168.122.24' identified by 'QFedu123@';
Query OK, 0 rows affected (0.03 sec)

mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.122.24';
Query OK, 0 rows affected (0.01 sec)

master2 查看当前的二进制日志及其位置

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.01 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      881 |              | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

注意这里是给 mster1 准备的信息

配置互为主从过程

master1

配置连接到 master2 的信息

此时 master1 作为 从
master2 作为 主 192.168.l122.190
master2 的日志 mysql-bin.000002 位置 881

mysql> change master to
master_host='192.168.122.190',
master_port=3306,
master_user='repl',
master_password='QFedu123@',
master_log_file='mysql-bin.000002',
master_log_pos=881;
Query OK, 0 rows affected, 2 warnings (0.24 sec)

启动 master1 的 slave

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

master1 上查看自己的 slave 状态

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.122.190
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000002
          Read_Master_Log_Pos: 881
               Relay_Log_File: nfs-mysql-relay-bin.000002
                Relay_Log_Pos: 320
        Relay_Master_Log_File: mysql-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
              ...略...

master2

配置连接到 master2 的信息

此时 master2 作为 从
master1 作为 主 192.168.l122.24
master1 的日志 mysql-bin.000002 位置 883

mysql> change master to
master_host='192.168.122.24',
master_port=3306,
master_user='repl',
master_password='QFedu123@',
master_log_file='mysql-bin.000002',
master_log_pos=883;
Query OK, 0 rows affected, 2 warnings (0.24 sec)

启动 master2 的 slave

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

master2 上查看自己的 slave 状态

show slave status\G

互为主从测试

分别在两台机器上创建逻辑库 和表，以及插入数据。观察是否互为同步。

从服务器配置多源复制

假如这里有一台从服务器,IP:192.168.122.100

分别在 master1 和 master2 上进行授权

mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.122.100'  identified by 'QFedu123@';;
Query OK, 0 rows affected (0.01 sec)

配置文件

server_id=100
skip-name-resolve
read_only=true
# 应该在从服务器设置不需要进行复制的逻辑库名称，一行一个
replicate-ignore-db=mysql


# 多源复制必须添加的变量，表示将主的连接信息和中继日志信息保存的表中，默认是 FILE。
relay_log_info_repository=TABLE
master_info_repository=TABLE

# 自动删除中继日志
relay-log-purge

# 中继日志的轮转大小
max_relay_log_size=5m

重启服务

配置多源通道主从关系

change master to
master_host='192.168.122.190',
master_port=3306,
master_user='repl',
master_password='QFedu123@',
master_log_file='mysql-bin.000002',
master_log_pos=81
for channel '122.190';

change master to
master_host='192.168.122.24',
master_port=3306,
master_user='repl',
master_password='QFedu123@',
master_log_file='mysql-bin.000002',
master_log_pos=83
for channel '122.24';

启动

启动此机器上的所有 slave 通道

start  slave

启动指定的 slave 通道

start  slave  for channel '122.190';

查看指定通道的状态

show slave status for channel '122.190'\G

假如有任意一个通道不正常，请关闭之后，再启动一次。

停止指定通道

stop  slave  for channel '122.190';

测试

分别在 master1 和 master2 上插入数据，之后在 slave 上观察是否同步。

shark_西瓜甜
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
借助 Navicat for MySQL 软件 把 不同或者相同数据库链接中的某数据库表数据 复制到 另一个数据库表中
12程序猿的博客
07-01 2294
借助 Navicat for MySQL 软件 把 不同或者相同数据库链接中的某数据库表数据 复制到 另一个数据库表中
MySQL多源复制
qq_34145309的博客
06-14 103
#!/usr/bin/env python # -*- coding: utf-8 -*- import subprocess import ConfigParser import collections import io import os import re import shutil import itertools class MysqlRepl(object): def __init__(self, mysql_instances): self.mysql_inst
如何查看MySQL从节点与主节点之间的复制进度
hay23455的博客
04-09 497
通过这些方法，你可以轻松地查看 MySQL 主从复制进度，确保数据在主从节点之间正确同步。
mysql relay_log_info_repository和master_info_repository
zhaoyangjian724的专栏
07-04 5281
relay_log_purge = 1 　　relay_log_recovery = 1 　　这两个是启用relaylog的自动修复功能，避免由于网络之类的外因造成日志损坏，主从停止。 　　master_info_repository = TABLE 　　relay_log_info_repository = TABLE 　　这两个参数会将master.info和relay.info保存
MySQL8 多源复制
zhouhaibo08的博客
04-26 205
MySQL8 多主一从配置
Mysql之多源复制
Z120552123的博客
07-27 397
Mysql之多源复制
MySQL多数据源实战（一）——MySQL主从复制
Back_Light_F的博客
07-19 388
如上图，我将会将数据库拆分为一个写库，两个读库。 主从复制  找到Mysql所在的安装目录：整体复制两份到别的地方，在复制之前应该先停掉MYSQL服务。 修改复制过来的conf下的my.ini文件：修改端口号分别为3307,3308 修改basedir和datadir： 在Mysql目录下新建data文件夹 4.以管理员身份运行命令提示符： 5.进行如下输入： 但...
Mysql多源主从复制
weixin_46119350的博客
05-22 140
MySQL在5.7.2上面添加了多源复制（Multi-Source）功能，意味着一个从库可以连多个主库，从而同时进行同步，但是如果是同一个表的话，会存在主键和唯一索引冲突的风险，需要提前做好规划。| replication_applier_status_by_worker |###查看各个channel是否复制正常，以及并行复制work号，复制错误的code、SQL和时间。master_log_file='mylog.000003', --我这里不一样，根据你自己的名称和位置去写。
简单讲解MySQL中的多源复制
12-15
在这篇文章里，我将要用一些简单的步奏来尝试了解这新的多源复制工作原理以及我们怎样进行自己的测试。需要说明的是，这还是一个开发版本，不是给生产环境准备的。因此这篇文章是打算给那些想了解此新功能的人，看看...
MySQL 5.7.18多源复制搭建
04-05
文档对MySQL5.7进行多源复制技术搭建部署，然后简单测试。相当于是一个实验
MySQL多源复制与Mycat实现读写分离最佳实践
04-11
MySQL多源复制与Mycat实现读写分离最佳实践，非常详细
MySQL 5.7 多源复制部署手册
10-12
我们需要清楚 multi-master 与multi-source 复制不是一样的. Multi-Master 复制通常是环形复制，你可以在任意主机上将数据复制给其他主机。
MySQL多源复制与Mycat实现读写分离最佳实践.pdf
07-07
mysql复制和读写分离的好资料
在不同的mysql链接之间复制表数据
fwzzzzz的博客
05-20 397
文章目录在不同的mysql链接之间复制表数据 在不同的mysql链接之间复制表数据 # 查看默认的数据库保存地址 show variables like 'secure%'; # 将表数据保存到文件中 select * into outfile '/var/lib/mysql-files/userinfo.txt' from vmp_dev.user_info; # 登录另一个数据库 mysql -uroot -p # 将数据文件进行导入 load data infile '/var/lib/my
MySQL slave相关参数
灯火觅阑珊
10-18 1968
init_slave 设定每次SQL thread启动时执行的语句。 log_slave_updates 是否将复制线程执行的内容记录到binlog。 log_slow_slave_statements 如果从库开启慢日志，是否将复制线程执行的慢SQL记录到慢日志。注意如果master的binlog格式是row，则无论log_slow_slave_statements是否开启都不会记录复制相关的慢...
mysql中的并发复制
敖尔其楞的专栏
11-07 814
mysql在几个大版本中的并发复制都不一样，当然做的是越来越好。 在5.6版本中 –slave-parallel-workers参数代表并行执行复制事务的slave worker线程的数量，设置未0代表禁用并行复制，最大值是1024.当并行执行设置后，sql线程充当了slave worker线程的调度器，事务是基于每个数据库的。就是基于库级别的， 由于是并发的就会导致，不同数据库上的事务在从库上应...
主从原理,一主多从架构
lusic01的专栏
01-30 1413
主从原理,一主多从架构 2018年08月14日 11:52:28 宸小浩属牛 阅读数：457 主从架构总结 主从原理 用binlog做主从，redolog只支持innodb 过程 ①start slave后从库启动io线程连接主库，请求读日志 ②dump线程根据请求信息读取指定位置后的日志 ③完成后就响应成功，没有确认机制 ④IO线程收到信息，将受到的日志依次写入relay...
MySQL高可用之多源复制
eagle89的专栏
01-05 1176
MySQL高可用之多源复制
Mysql八小时断连问题及事务超时、自动重连、回滚等设置
weixin_42827898的博客
05-19 1741
以下内容来源于Mysql官网操作手册 https://dev.mysql.com/doc/refman/8.0/en/preface.html MySQL server has gone away错误的最常见原因是服务器超时并关闭了连接。 对于这种情况，通常会获得以下错误代码（所获得的错误代码取决于操作系统） 错误代码及描述 CR_SERVER_GONE_ERROR：客户端无法向服务器发送问题。 CR_SERVER_LOST：客户端写入服务器时并没有收到错误，但是没有得到问题的完整答案（或任何答案）。
MySQL主从复制发展史
最新发布
05-06
MySQL主从复制是MySQL数据库中一种常见的数据复制技术，用于实现数据的备份、负载均衡和高可用性。下面是MySQL主从复制的发展史： 1. MySQL 3.23版本引入了基于语句级别的主从复制。在这种模式下，主服务器将执行的SQL语句记录到二进制日志（binary log）中，从服务器通过读取二进制日志并执行相同的SQL语句来实现数据复制。 2. MySQL 4.0版本引入了基于行级别的主从复制。与语句级别的复制相比，行级别的复制可以更精确地复制数据的变化，减少了主从服务器之间的数据不一致性。 3. MySQL 5.0版本引入了半同步复制。在传统的异步复制中，主服务器将数据变更写入二进制日志后即返回成功，而不等待从服务器确认接收。而半同步复制则要求主服务器在至少一个从服务器确认接收到数据变更后才返回成功，提高了数据的一致性和可靠性。 4. MySQL 5.7版本引入了多源复制。多源复制允许一个从服务器同时连接多个主服务器进行数据复制，实现了更灵活的数据复制拓扑结构。 5. MySQL 8.0版本引入了组复制（Group Replication）。组复制是一种基于原生MySQL复制协议的高可用性解决方案，它提供了自动故障检测和自动故障恢复的功能，可以实现主从服务器之间的自动切换，提高了系统的可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shark_西瓜甜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值