MySQL-5.7.28二进制主从复制（基于GTID）

最新推荐文章于 2021-01-21 02:36:36 发布
最新推荐文章于 2021-01-21 02:36:36 发布
阅读量350 收藏 1
点赞数
分类专栏： 数据库DBA 文章标签： mysql 数据库 运维 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16942727/article/details/104280644
版权

GTID介绍

  • 传统的基于binlog position复制的方式有个严重的缺点：如果slave连接master时指定的binlog文件错误或者position错误，会造成遗漏或重复，很多时候前后数据是有依赖性的，这样就会出错而导致数据不一致。
  • 从MySQL5.6开始，MySQL开始支持GTID复制。GTID全称是global transaction id，表示的是全局事务ID。GTID的分配方式为uuid:transaction_id，其中：uuid是每个MySQL服务器唯一的，记录在$datadir/auto.cnf中。如果复制结构中，任意两台服务器uuid重复的话（比如直接冷备份时，auto.cnf中的内容是一致的），在启动复制功能的时候会报错。这时就可以删除auto.cnf文件，再重启mysqld。

基于GTID主从复制优点

  • 保证同一事物在某个slave上绝对只执行一次，没有执行过的GTID事物总是会被执行。
  • 不用像传统复制那样保证binlog的坐标准确，因为根本不需要binlog以及坐标。
  • 故障转移到新的master的时候很方便，简化了很多任务。
  • 很容易判断master和slave的是否一致。只要master上提交的事物在slave上也提交了，那么一定是一致的。
  • MySQL提供了选项可以控制跳过某些GTID事物，防止slave第一次启动复制执行master上的所有事物而导致耗时过久。
  • 虽然对于row-based和statement-based的格式都能进行GTID复制，但建议采用row-based格式。

GTID工作原理

  • master更新数据时，会在事物前产生GTID，一同记录到binlog日志中。

  • slave的I/O线程将变更的binlog，写入到本地的relay log中。

  • sql线程从relay log中获取GTID，然后对比slave端的binlog是否有记录。

  • 如果有记录，说明该GTID的事物已经执行，slave会忽略。

  • 如果没有记录，slave就会从relay log中执行该GTID的事物，并记录到binlog。

  • 在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。

  • MySQL第一次启动的时候创建auto.cnf文件，并生成server_uuid（MySQL使用机器网卡，当前时间，随机数等拼接成一个128bit的uuid）。之后MySQL再启动时不会重复生成uuid，而是使用auto.cnf中的uuid

  • 同一个server_uuid下的transaction_id一般是递增的。如果一个事务是通过用户线程执行，那么MySQL在生成的GTID时，会使用它自己的server_uuid，然后再递增一个transaction_id作为该事务的GTID。如果事务是通过SQL线程回放relay log时产生，那么GTID就直接使用binlog里的了。在MySQL5.6中不用担心binlog里没有GTID，因为如果从库开启了GTID模式，主库也必须开启，否则IO线程在建立连接的时候就中断了。

  • server_uuid全局唯一，具备幂等性

GTID找点儿原理

  • 在未开启GTID模式的情况下，从库用（File_name和File_pos）二元组标识执行到的位置。start slave时，从库会先向主库发送一个binlog_dump命令，在binlog_dumo命令中指定File_name和File_pos，主库就从这位置开始发送binlog。
  • 在开启GTID模式的情况下，如果指定master_auto_position=1。start slave时，从库会计算Retrieved_Gtid_Set和Executed_Gtid_Set的并集（通过show slave status可以查看），然后把这个GTID并集发送给主库。主库会使用从库请求的GTID集合和自己的gtid_executed比较，把从库GTID集合里确实的事务全都发送给从库。如果从库缺失的GTID，已经被主库pruge了，那么从库报1236错误，IO线程中断。
    在这里插入图片描述

POS与GTID有什么区别？

  • 两者都是日志文件里事件的一个标志，如果将整个MySQL集群看做一个整体，pos就是局部的，GTID就是全局的。
  • 一主两从，在master,slave1,slave2日志文件里的pos，都各不相同，就是一个event，在master的日志里，pos可能是700，而在slave1,slave2里，pos可能就是300,400，因为众多slave也可能不是同事加入集群的，不是从同一个位置进行同步。
  • 而GTID，在master,slave1,slave2各自的日志文件里，同一个event的GTID值都是一样的。

主从复制GTID模式实战

前文有二进制多实例安装的演示参考前文再做以下实验！
请点击：二进制多实例安装

[root@localhost ~]# mkdir -p /usr/local/mysql/binlog

环境条件
MySQL-3306实例为主节点
MySQL-3309实例为从节点

开启binlog日志与GTID

[root@localhost ~]# vi /etc/my.cnf 
[mysqld]
log_bin=/usr/local/mysql/binlog/mysql-bin
binlog_format=row
sync_binlog=1
gtid_mode=on
enforce_gtid_consistency

[root@localhost ~]# cat >> /usr/local/mysql-3309/my.cnf << EOF
> gtid_mode=on
> enforce_gtid_consistency
> EOF

授权

[root@localhost ~]# chown -R mysql.mysql /usr/local/mysql*

重启3306与3309实例

[root@localhost ~]# systemctl restart mysqld.service
[root@localhost ~]# systemctl restart mysqld-3309.service

查看是否开启GTID

[root@localhost ~]# mysql -uroot -p000000 -e "show variables like '%gtid_%';"
mysql: [Warning] Using a password on the command line interface can be insecure.
+----------------------------------+-----------+
| Variable_name                    | Value     |
+----------------------------------+-----------+
| binlog_gtid_simple_recovery      | ON        |
| enforce_gtid_consistency         | ON        |   <----是否开启GTID
| gtid_executed_compression_period | 1000      |
| gtid_mode                        | ON        |   <----是否开启GTID模块
| gtid_next                        | AUTOMATIC |
| gtid_owned                       |           |
| gtid_purged                      |           |
| session_track_gtids              | OFF       |
+----------------------------------+-----------+

[root@localhost ~]# mysql -uroot -p000000 -S /usr/local/mysql-3309/mysql.sock -e "show variables like '%gtid_%';"
mysql: [Warning] Using a password on the command line interface can be insecure.
+----------------------------------+-----------+
| Variable_name                    | Value     |
+----------------------------------+-----------+
| binlog_gtid_simple_recovery      | ON        |
| enforce_gtid_consistency         | ON        |
| gtid_executed_compression_period | 1000      |
| gtid_mode                        | ON        |
| gtid_next                        | AUTOMATIC |
| gtid_owned                       |           |
| gtid_purged                      |           |
| session_track_gtids              | OFF       |
+----------------------------------+-----------+

创建主从复制用户

[root@localhost ~]# mysql -uroot -p000000 -e "grant replication slave on *.* to giao@'%' identified by '000000';"

开启GTID主从复制

#进入3309实例开启GTID连接到3306实例
[root@localhost ~]# mysql -uroot -p000000 -S /usr/local/mysql-3309/mysql.sock
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.28 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> change master to master_host='192.168.10.143',master_user='giao',master_password='000000',master_auto_position=1;
Query OK, 0 rows affected, 2 warnings (0.07 sec)
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

查看主从复制状态

[root@localhost ~]# mysql -uroot -p000000 -S /usr/local/mysql-3309/mysql.sock -e "show slave status\G;" | egrep 'Slave_IO_Running:|Slave_SQL_Running:|Seconds_Behind_Master:'
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
        Seconds_Behind_Master: 0

测试GTID模式效果
可以看到当前两个实例都没有giao库，接下来在3306实例创建giao库，然后查看3309库是否有同步。

[root@localhost ~]# mysql -uroot -p000000 
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 5
Server version: 5.7.28-log MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.07 sec)

[root@localhost ~]# mysql -uroot -p000000 -S /usr/local/mysql-3309/mysql.sock 
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 5.7.28 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.06 sec)

可以看到3309实例从库也同步创建了giao库

#主库先创建giao库
[root@localhost ~]# mysql -uroot -p000000 -e "create database giao;"
[root@localhost ~]# mysql -uroot -p000000 -e "show databases;"      
mysql: [Warning] Using a password on the command line interface can be insecure.
+--------------------+
| Database           |
+--------------------+
| information_schema |
| giao               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

#观察从库有没有同步giao库
[root@localhost ~]# mysql -uroot -p000000 -S /usr/local/mysql-3309/mysql.sock -e "show databases;"
mysql: [Warning] Using a password on the command line interface can be insecure.
+--------------------+
| Database           |
+--------------------+
| information_schema |
| giao               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
不想敲代码的运维
关注
专栏目录
MySQL复制机制详解：主从复制与GTID复制的配置与管理
哎 你看的博客
06-13 1139
引言 MySQL复制的概述 主从复制与GTID复制的概念与优点 MySQL主从复制 主从复制的原理 主从复制的配置步骤 配置主服务器 配置从服务器 主从复制的管理与维护 查看复制状态 故障处理与恢复 数据一致性检验 MySQL GTID复制 GTID复制的原理 GTID复制的配置步骤 配置主服务器 配置从服务器 GTID复制的管理与维护 查看复制状态 故障处理与恢复 数据一致性检验 主从复制与GTID复制的比较 二者的优劣势对比 适用场景分析 结论 对MySQL复制机制的理解与实践的重要性
MySQL的复制方式（基于二进制日志文件位置的主从复制、基于GTID的主从复制、半同步复制、组复制）
Aimee_c的博客
05-12 1314
文章目录1.MySQL1.1 MySQL的事务2.MySQL的三种复制方式2.1 MySQL的异步复制——基于二进制日志文件位置的复制 1.MySQL Mysql是一种关系型数据库，特点是将这些数据保存在不同的二维表中，并将这些表放入数据库，这样可以增加它的读取速度。 1.1 MySQL的事务 事务就是一组原子性的SQL查询，或者说一个独立的工作单元 如果数据库引擎能够成功地对数据库进行该组查询的全部语句，那么就执行该组查询，如果其中有任何一条语句因为崩溃或者其他原因无法执行，那么所有的语句都不会执行，也就
MySQL-5.7.28二进制主主模式高可用（GTID模式）
运维giao的博客
02-12 702
通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时提供服务。当提供服务的一台出现故障时，另外一台能够马上自动接管并且提供服务，而且切换的时间非常短。MySQL双主复制，即互为master-slave（只有一个master提供写操作），可以实现数据库服务器的热备，但是一个master宕机后不能实现自动切换。就要用到keepalived，可以通过虚拟IP，实现双主对外的统一接口以及自动检查、...
Mysql5.7基于日志转为基于事务主从复制
weixin_34301307的博客
05-24 79
将基于日志的复制变更为基于事务的复制 mysql版本要高于5.7.6 gtid_mode要设为off 处理步骤 详细步骤 1.查看主从mysql版本是否高于5.7.6 show variables like 'version'; 2.查看主从服务器mysql的gtid_mode是否为off show variables like 'gtid_mode'; 以下操...
MySQL 二进制日志复制、GTID 复制与半同步复制
黑白影的博客
01-06 643
一、日志格式 1.1 二进制日志格式 MySQL 二进制日志是进行主从复制的基础，它记录了所有对 MySQL 数据库的修改事件，包括增删改查和表结构修改。当前 MySQL 一共支持三种二进制日志格式，可以通过 binlog-format 参数来进行控制，其可选值如下： STATEMENT：段格式。是 MySQL 最早支持的二进制日志格式。其记录的是实际执行修改的 SQL 语句，因此在进行批量修改...
MySQL数据库_MySQL5.7二进制安装与GTID实验
Not Found 404
07-12 282
实验：二进制安装MySQL-5.7 百度云下载 链接：https://pan.baidu.com/s/1ZDCUcKjUbQDab0iH7v-32Q 提取码：663v 也可以直接官方下载 [centos]$ wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.26-el7-x86_64.tar.gz 解压 [cento...
MySQL5.7主从同步--点位方式及GTID方式
gjc592的博客
08-05 534
MySQL5.6加入了GTID的新特性，其全称是Global Transaction Identifier，可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯...
详解MySQL主从复制实战 - 基于GTID的复制
09-09
在传统的基于二进制日志（binlog）位置的复制中，从库需要知道主库的binlog文件名和偏移量来同步未执行的事务。然而，这种方式容易出错，如果指定错误可能导致数据丢失或不一致。GTID复制则解决了这个问题：从库只需...
mysql gtid 主从_基于GTID搭建主从MySQL
weixin_42347925的博客
01-21 463
基于gtid搭建主从MySQL一、GTID的使用想让主从之间使用gtid的方式同步数据，需要我们在配置文件中开启mysql对gtid相关的配置信息找到my.cnf ，在mysqld模块中加入如下的配置。(主库从库都这样)# on表示开启，OFF表示关闭gtid-mode = ON# 下面的两个变量必须开启，否则MySQL拒绝启动# 通常情况，从服务器从主服务器接收到的更新不记入它的二进制日志。该选...
Mysql(1)--主从复制(position和gtid)
qq_45594312的博客
03-05 1951
1.主从复制的原理(position) 异步复制（主从复制）master节点不会关心slave节点的状态，只需要写自己的数据即可 能不能完成复制看slave节点的io线程和sql线程是否开启 mysql的主从配置又叫replication，AB复制，基于binlog二进制日志 主数据库必须开启binlog二进制日志才能进行复制 mysql的主从复制（异步复制）（基于position）把一个事件拆...
Mysql5.7.28安装笔记，自留避免踩坑
qq_32681589的博客
06-01 378
Mysql5.7.28安装，自留避免踩坑Mysql安装笔记总结： 其中第8步加粗部分，经常踩坑，网上很多密码更新都是不对的，烦恼。 具体没去研究，估计是某个mysql版本后的用户管理表中password字段已经弃用，而是改成了authentication_string Mysql安装笔记 昨天安装了一个多小时的Mysql，发现网上的滥竽充数文章越来越多了。特别是密码更新，经常报：filed password not exist（就是没有password这个字段，大概这个意思） 安装步骤（亲测安装版，绿色版
mysql 5.7 主从同步 gtid
weixin_34195546的博客
05-10 401
环境：1、（主） linux centOS 7 64位2、（从） linux centOS 7 64位3、（mysql）最好要求版本一致，从库不能比主库版本高 建议5.7 centos 7 默然安装mariadb，安装mysql 5.7参考如下链接文档：centos 7安装mysql 5.7 ：https://juejin.im/post/5c088b066fb9a049d4419985 （...
MYSQL 5.7.28安装 不踩坑
Cofer源
11-22 6462
MYSQL5.7.28 的安装 需要自己配置，里面有几个坑，不知道的同学会耽误大量时间。 下面，我把整个安装流程整理一遍。 1、下载并解压mysql 5.7.28 下载链接 我安装在路径D:\mysql-5.7.28-winx64 2、配置环境变量 MYSQL_HOME = D:\mysql-5.7.28-winx64 path添加%MYSQL_HOME%\bin 3、新建data，my...
yum 仓库安装MySQL指定版本（5.7.x)
IT大神仙的博客
08-30 323
1，新建MySQL的repo仓库 vim /etc/yum.repos.d/mysql-community.repo # Enable to use MySQL 5.7[mysql57-community] name=MySQL 5.7 Community Server baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/6...
Mysql数据库的主从复制（基于二进制文件、基于gtid）的三种模式详解
ly2020_的博客
07-30 3473
1.MySQL主从复制原理  MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点，如下图所示: 主节点 binary log dump 线程 当从节点连接主节点时，主节点会创建一个log dump 线程，用于发送bin-log的内容。在读取bin-log中的操作时，此线程会对主节点上的bin-...
MySQL操作笔记（1）
lt53130640688的博客
11-09 3452
1.MySQL登录--多实例登录方式，单实例不加-S参数；登录时尽量隐藏数据库密码。 [root@mysql ~]# mysql -S /data/3306/mysql.sock -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id
MySQL 5.7 在线更改gtid_mode
灯火觅阑珊
09-12 4380
在MySQL 5.7.6以前，gtid_mode是只读参数，修改值只能通过重启实例生效。 在MySQL 5.7.6开始，gtid_mode支持在线动态修改。 在MySQL里事务分为两种，一种是匿名事务（anonymous），一种是GTID事务。GTID事务即该事务带有GTID信息，而匿名事务即使没有GTID信息的事务，在主从复制中只能指定binlog文件和位点的方式来搭建。 从MySQL 5.7....
mysql登陆ERROR 1045 (28000): Access denied for user
运维giao的博客
04-03 2854
mysql登陆ERROR 1045 (28000): Access denied for user Enter current password for root (enter for none): ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 报错信息显示useing p...
MySQL-5.7.28二进制主从复制
运维giao的博客
02-11 424
MySQL主从复制介绍 Mysql数据库的主从复制方案，与使用scp/rsync等命令进行的文件级别复制类似，都是数据的远程传输，只不过MySQL的主从复制都是其自带功能，无须借助第三方工具，而且，MySQL的主从复制并不是数据库在磁盘上的文件直接拷贝，而是通过逻辑的binlog日志复制到要同步的服务器本地，然后由本地的线程读取日志里面的SQL语句，重新应用到MySQL数据库中。 主从复制原理 ...
MySQL主从复制实战：基于GTID的高效同步
在MySQL的主从复制中，传统的基于二进制日志（binlog）的复制方法依赖于从库指定正确的日志文件名和日志位置（即binlog position）来开始复制。然而，这种方法存在潜在风险，如果从库指定的复制起点错误，可能会导致...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不想敲代码的运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值