基于gtid的备份_恢复_注意事项_mysqldump_skip-gtids_include-gtids_exclude-gtids

已于 2023-03-28 18:44:01 修改
阅读量902 收藏
点赞数 2
分类专栏： Oracle_MySQL_SHELL脚本 文章标签： 数据库 mysql
于 2023-03-28 18:33:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangzhicheng987/article/details/129821036
版权

相关参数

–skip-gtids

是否使用–skip-gtids=true 参数，要根据情况来定；

  • 第一种情况：
    如果我们是要恢复数据到源数据库或者和源数据库有相同 GTID 信息的实例，则使用mysqlbinlog进行导出时候，需要使用该参数。如果不带该参数的话，是无法恢复成功的。因为包含的 GTID 已经在源数据库执行过了，根据 GTID 特性，一个 GTID 信息在一个数据库只能执行一次，所以不会恢复成功。

  • 第二种情况：
    如果是恢复到其他实例的数据库并且不包含源实例的 GTID 信息，那么可以不使用该参数，使用或者不使用都可以恢复成功。

–include-gtids

 mysqlbinlog --include-gtids='cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1-3' /data/mysql/my3306/logs/mysql-bin.000001 > include_gtid_sql.sql

表示只备份cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1-3的事务

–exclude-gtids

mysqlbinlog --exclude-gtids='cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4'  --skip-gtids /data/mysql/my3306/logs/mysql-bin.000001 > skip_gtid.sql

表示备份这个日志当中除了cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4这个事务的其它事务。

实验

场景目的：
恢复除删表动作以外的所有事务。

需求分析：

  1. 备份过程中不能包含drop table这个gitd的事务
  2. 备份文件是恢复到同一个实例，也就是gtid相同的。

1. 重置gtid

方便实验查看。 将事务从id从1开始

reset master;

2. 生成gtid

  • 创建表
mysql> create table t9 (id int primary key ,name varchar(10));
Query OK, 0 rows affected (0.03 sec)
  • 插入数据
mysql> insert into t9 values(1,'zhangsan1');
Query OK, 1 row affected (0.00 sec)

mysql> insert into t9 values(2,'zhangsan2');
Query OK, 1 row affected (0.00 sec)

mysql> insert into t9 values(3,'zhangsan3');
Query OK, 1 row affected (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.01 sec)
  • 分析binlog
    上面的建表和插入数据的动作，产生了两个GTID_NEXT
mysql> show binlog events in 'mysql-bin.000001';
+------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+
| Log_name         | Pos | Event_type     | Server_id | End_log_pos | Info                                                                |
+------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+
| mysql-bin.000001 |   4 | Format_desc    |      1116 |         123 | Server ver: 5.7.41-log, Binlog ver: 4                               |
| mysql-bin.000001 | 123 | Previous_gtids |      1116 |         154 |                                                                     |
| mysql-bin.000001 | 154 | Gtid           |      1116 |         219 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1'   |
| mysql-bin.000001 | 219 | Query          |      1116 |         349 | use `dbsql`; create table t9 (id int primary key ,name varchar(10)) |
| mysql-bin.000001 | 349 | Gtid           |      1116 |         414 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:2'   |
| mysql-bin.000001 | 414 | Query          |      1116 |         487 | BEGIN                                                               |
| mysql-bin.000001 | 487 | Table_map      |      1116 |         536 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 536 | Write_rows     |      1116 |         586 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 586 | Table_map      |      1116 |         635 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 635 | Write_rows     |      1116 |         685 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 685 | Table_map      |      1116 |         734 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 734 | Write_rows     |      1116 |         784 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 784 | Xid            |      1116 |         815 | COMMIT /* xid=29003260 */                                           |
+------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+
13 rows in set (0.00 sec)
  • 插入数据并手动提交
mysql> insert into t9 values(4,'zhangsan4');
Query OK, 1 row affected (0.01 sec)

mysql> insert into t9 values(5,'zhangsan5');
Query OK, 1 row affected (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.01 sec)
  • 产生gitd
mysql> show binlog events in 'mysql-bin.000001';
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
| Log_name         | Pos  | Event_type     | Server_id | End_log_pos | Info                                                                |
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
| mysql-bin.000001 |    4 | Format_desc    |      1116 |         123 | Server ver: 5.7.41-log, Binlog ver: 4                               |
| mysql-bin.000001 |  123 | Previous_gtids |      1116 |         154 |                                                                     |
| mysql-bin.000001 |  154 | Gtid           |      1116 |         219 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1'   |
| mysql-bin.000001 |  219 | Query          |      1116 |         349 | use `dbsql`; create table t9 (id int primary key ,name varchar(10)) |
| mysql-bin.000001 |  349 | Gtid           |      1116 |         414 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:2'   |
| mysql-bin.000001 |  414 | Query          |      1116 |         487 | BEGIN                                                               |
| mysql-bin.000001 |  487 | Table_map      |      1116 |         536 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  536 | Write_rows     |      1116 |         586 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  586 | Table_map      |      1116 |         635 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  635 | Write_rows     |      1116 |         685 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  685 | Table_map      |      1116 |         734 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  734 | Write_rows     |      1116 |         784 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  784 | Xid            |      1116 |         815 | COMMIT /* xid=29003260 */                                           |
| mysql-bin.000001 |  815 | Gtid           |      1116 |         880 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:3'   |
| mysql-bin.000001 |  880 | Query          |      1116 |         953 | BEGIN                                                               |
| mysql-bin.000001 |  953 | Table_map      |      1116 |        1002 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 1002 | Write_rows     |      1116 |        1052 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 1052 | Table_map      |      1116 |        1101 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 1101 | Write_rows     |      1116 |        1151 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 1151 | Xid            |      1116 |        1182 | COMMIT /* xid=29003273 */                                           |
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
20 rows in set (0.00 sec)
  • 删表
mysql> drop table t9;
Query OK, 0 rows affected (0.01 sec)
  • 新产生gtid
mysql> show binlog events in 'mysql-bin.000001';
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
| Log_name         | Pos  | Event_type     | Server_id | End_log_pos | Info                                                                |
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
| mysql-bin.000001 |    4 | Format_desc    |      1116 |         123 | Server ver: 5.7.41-log, Binlog ver: 4                               |
| mysql-bin.000001 |  123 | Previous_gtids |      1116 |         154 |                                                                     |
| mysql-bin.000001 |  154 | Gtid           |      1116 |         219 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1'   |
| mysql-bin.000001 |  219 | Query          |      1116 |         349 | use `dbsql`; create table t9 (id int primary key ,name varchar(10)) |
| mysql-bin.000001 |  349 | Gtid           |      1116 |         414 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:2'   |
| mysql-bin.000001 |  414 | Query          |      1116 |         487 | BEGIN                                                               |
| mysql-bin.000001 |  487 | Table_map      |      1116 |         536 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  536 | Write_rows     |      1116 |         586 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  586 | Table_map      |      1116 |         635 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  635 | Write_rows     |      1116 |         685 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  685 | Table_map      |      1116 |         734 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 |  734 | Write_rows     |      1116 |         784 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 |  784 | Xid            |      1116 |         815 | COMMIT /* xid=29003260 */                                           |
| mysql-bin.000001 |  815 | Gtid           |      1116 |         880 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:3'   |
| mysql-bin.000001 |  880 | Query          |      1116 |         953 | BEGIN                                                               |
| mysql-bin.000001 |  953 | Table_map      |      1116 |        1002 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 1002 | Write_rows     |      1116 |        1052 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 1052 | Table_map      |      1116 |        1101 | table_id: 127 (dbsql.t9)                                            |
| mysql-bin.000001 | 1101 | Write_rows     |      1116 |        1151 | table_id: 127 flags: STMT_END_F                                     |
| mysql-bin.000001 | 1151 | Xid            |      1116 |        1182 | COMMIT /* xid=29003273 */                                           |
| mysql-bin.000001 | 1182 | Gtid           |      1116 |        1247 | SET @@SESSION.GTID_NEXT= 'cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4'   |
| mysql-bin.000001 | 1247 | Query          |      1116 |        1364 | use `dbsql`; DROP TABLE `t9` /* generated by server */              |
+------------------+------+----------------+-----------+-------------+---------------------------------------------------------------------+
22 rows in set (0.00 sec)

3. 备份_skip_include_exclude_gtids

说明：

  1. 备份过程中不能包含drop table这个gitd的事务
  2. 如果是恢复到相同gitid的实例，一定要加skip-gtids
  • 备份包含指定的gitd
    表示只备份cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1-3的事务
 mysqlbinlog --include-gtids='cc997b24-cd1a-11ed-ac6d-000c2945c1f2:1-3' /data/mysql/my3306/logs/mysql-bin.000001 > include_gtid_sql.sql
  • 备份排除的id
 mysqlbinlog --exclude-gtids='cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4' /data/mysql/my3306/logs/mysql-bin.000001 > exclude_gtid_sql.sql
  • 备份_不包含gtid
    表示备份这个日志当中除了cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4这个事务的其它事务。
mysqlbinlog --exclude-gtids='cc997b24-cd1a-11ed-ac6d-000c2945c1f2:4'  --skip-gtids /data/mysql/my3306/logs/mysql-bin.000001 > skip_gtid.sql

4. 恢复测试

如果不包含skip-gtids,无法应用gtid

mysql> source include_gtid_sql.sql  ;
mysql> select * from dbsql.t9;
ERROR 1146 (42S02): Table 'dbsql.t9' doesn't exist

如果不包含skip-gtids,无法应用gtid

mysql> source exclude_gtid_sql.sql ;
mysql> select * from dbsql.t9;
ERROR 1146 (42S02): Table 'dbsql.t9' doesn't exist

包含了skip-gtids,可以恢复.

mysql> source skip_gtid.sql;
mysql> select * from dbsql.t9;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | zhangsan1 |
|  2 | zhangsan2 |
|  3 | zhangsan3 |
|  4 | zhangsan4 |
|  5 | zhangsan5 |
+----+-----------+
5 rows in set (0.01 sec)
数哥
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mysql gtid 备份恢复_mysql5.7-07-gtid-mysqldump+binlog恢复数据
weixin_35977784的博客
01-19 186
备份单个库或多个库备份所有库，-B换-A适用于MyISAM存储引擎。[root@test-huanqiu ~]# mysqldump --lock-all-tables --flush-logs --master-data=2 -u root -p yanqi > backup_sunday_1_PM.sql适用于innodb存储引擎mysqldump -uroot -pyanqi -B -...
mysql5.7gtid_MySQL5.7 GTID 运维实战
weixin_42405592的博客
01-18 294
GTID 和 START SLAVESTART SLAVE 语法START SLAVE [thread_types] [until_option] [connection_options]thread_types:[thread_type [, thread_type] ... ]thread_type:IO_THREAD | SQL_THREADuntil_option:UNTIL { {S...
mysql 5.5.32备份数据库_十六、mysql的备份与恢复（二）--mysqldump
weixin_29435467的博客
01-27 71
1)在全备文件中查找二进制文件的开始位子[root@vm01 backup]#gunzip full_2020-11-30.sql.gz[root@vm01 backup]# vim full_2020-11-30.sql。。。。。。-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=754;。。。。。。my...
原 mysql gtid_MySQL基于GTID的数据恢复
weixin_30596151的博客
01-18 100
大家好，我是anyux。本文介绍MySQL基于GTID的数据恢复。文末总结基于GTID的数据恢复，并有导图创建一个数据库 gtid,在gtid库下创建表tmp,插入5行数据create database back_gtid charset utf8mb4;use back_gtid;create table tmp(id int, name varchar(20));insert into tmp...
MySQL gtid purge_一言不合就干货，这次是MySQL5.7 GTID运维实战
weixin_30518613的博客
01-27 301
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloudGTID 和 START SLAVESTART SLAVE 语法START SLAVE [thread_types] [until_option] [connection_options]如何从multi-threaded slave 转化成 single-threaded modeSTART SLAVE UNT...
MySQL运维DBA-MySQL8数据备份和恢复-006篇-mysqldump man帮助手册
老韩的Linux云计算架构师进阶之路
02-27 491
MySQL8数据备份和恢复-001-mysqldump man帮助手册。
mysql datapump_mysqlpump - 一个数据库备份程序
weixin_42128141的博客
01-20 183
mysqlpump - 一个数据库备份程序发布时间：2020-08-09 16:17:06来源：ITPUB博客阅读：72作者：steven_hua之后多了一个备份工具，mysqlpumpmysqlpump客户端 执行的是逻辑备份Mysqlpump新特性并行执行 数据库和其中的对象，加快转储过程更好的控制哪些数据库和数据库对象 来转储导出导出用户账号作为账号管理语句(create user,gran...
mysql gtid坑_一言不合就干货，这次是MySQL5.7 GTID运维实战
weixin_39603537的博客
01-19 341
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloudGTID 和 START SLAVESTART SLAVE 语法START SLAVE [thread_types] [until_option] [connection_options]如何从multi-threaded slave 转化成 single-threaded modeSTART SLAVE UNT...
mysql 5.7 差异备份_MySQL 5.7 新备份工具mysqlpump 使用说明 - 运维小结
weixin_35160923的博客
01-20 233
之前详细介绍了Mysqldump备份工具使用，下面说下MySQL5.7之后新添加的备份工具mysqlpump。mysqlpump是mysqldump的一个衍生，mysqldump备份功能这里就不多说了，现在看看mysqlpump到底有了哪些提升，详细可以查看官网文档。mysqlpump和mysqldump一样，属于逻辑备份，备份以SQL形式的文本保存。逻辑备份相对物理备份好处是不关心log的大小，...
MySQL.rar_mysql 数据同步_数据同步
09-22
- **GTID（全局事务标识符）**：MySQL 5.6及以上版本引入，每个事务都有唯一GTID，避免了基于位置的日志复制可能导致的复杂性，也支持自动故障切换。 - **冲突解决**：对于可能出现的事务冲突，需要预设冲突解决策略...
mysql-8.0.27-macos11-x86_64.tar.gz
11-18
6. **改进的复制功能**：MySQL的复制功能在8.0版本中得到了增强，支持多源复制和GTID（全局事务标识符）复制，提高了数据同步的可靠性和可管理性。 7. **原子DDL**：MySQL 8.0引入了原子数据定义语言(DDL)操作，...
MySQL PXC_百度大神cnf配置
08-30
它基于MySQL Server和XtraDB存储引擎，并引入了Galera同步技术，实现了多节点之间的实时数据复制，确保在节点故障时能够无缝切换，保持服务连续性。 《MySQL PXC_百度大神cnf配置》可能是对MySQL PXC集群配置文件`...
MySQL中slave_exec_mode参数详解
09-09
在测试环境中，例如Percona MySQL 5.7，如果你的复制模式设为ROW，并且没有启用GTID，你可以观察到`slave_exec_mode`的效果。当从库试图执行主库的写入事件（如插入一条已存在的记录）时，如果`slave_exec_mode`设置...
逐步分析MySQL从库com_insert无变化的原因
09-10
在MySQL的主从复制过程中，确保主库和从库的数据一致性至关重要。... MySQL提供了两种主要的二进制日志格式（binlog_format）：`STATEMENT`和`...在使用`ROW`模式时，特别要注意语句级别的执行与行级别的记录之间的差异。
Apollo使用（3）：分布式docker部署
游王子的博客
07-24 608
Apollo 1.7.0版本开始会默认上传Docker镜像到，可以按照如下步骤获取。
图数据库查询与操作指南-以Nebula图数据库为例
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
07-26 289
图数据库查询与操作指南-以Nebula图数据库为例
ODBC连接达梦数据库
qq_55187735的博客
07-24 257
用户执行，因为环境变量配置在。
SQL基础入门：解锁数据库管理的钥匙
最新发布
WayneYalejk的博客
07-26 356
在数字化时代，数据已成为企业最宝贵的资产之一。为了高效地存储、查询和管理这些数据，SQL（Structured Query Language，结构化查询语言）应运而生。SQL不仅是数据库管理员的必备技能，也是数据分析师、开发人员等多个领域从业者的重要工具。本文将带您踏入SQL的世界，从基础概念到实际应用，一步步解锁数据库管理的钥匙。强调SQL在数据处理和分析中的重要性，鼓励读者通过实践不断深化对SQL的理解和应用。
mysql binlog gtid_binlog的GTID模式基础及基于GITD的数据恢复
05-27
GTID（Global Transaction ID）是MySQL 5.6版本引入的一种全局事务标识机制，用于在主从复制和数据恢复等场景下精确追踪事务的执行情况。在GTID模式下，每个事务都会分配一个全局唯一的ID，由GTID组成，用于标识该事务的唯一性。 在MySQL中，有两种类型的GTID：基于二进制日志的GTID（gtid_binlog）和基于事务的GTID（gtid_current_pos）。其中，基于二进制日志的GTID是默认启用的。它由两部分组成：server_uuid和transaction_id。其中，server_uuid是MySQL实例的唯一标识符，transaction_id是一个递增的整数，用于标识每个事务。 基于GTID的数据恢复可以通过以下步骤实现： 1. 确认目标数据库的GTID模式，以及需要恢复的数据起始和结束的GTID范围。 2. 在备份服务器上创建一个与目标数据库相同的空数据库。 3. 将备份服务器上的二进制日志文件和索引文件拷贝到目标服务器上，并将它们放置在与备份服务器相同的目录下。 4. 在目标服务器上使用mysqlbinlog命令解析备份服务器上的二进制日志文件，并过滤出需要恢复的数据，生成一个SQL文件。 5. 在目标服务器上执行步骤4生成的SQL文件，恢复数据。 在执行步骤4时，可以使用mysqlbinlog命令的--start-position和--stop-position参数指定需要恢复的二进制日志文件的起始和结束位置，也可以使用--start-datetime和--stop-datetime参数指定需要恢复的时间范围。 需要注意的是，在基于GTID的数据恢复中，必须确保目标服务器和备份服务器的server_uuid相同，否则会导致GTID不一致，无法进行数据恢复。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值