MySQL 5.7 (2GTID,binlog)

最新推荐文章于 2024-02-29 12:00:55 发布
最新推荐文章于 2024-02-29 12:00:55 发布
阅读量771 收藏
点赞数
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rgb_rgb/article/details/77835998
版权
MySQL 5.6.10之后完善了GTID,5.6.2开始支持GTID复制

5.7支持GTID在线切换，5.6不支持该功能


root@localhost [tcyang]>create table tb_slow as select * from information_schema.columns;
ERROR 1786 (HY000): Statement violates GTID consistency: CREATE TABLE ... SELECT.
root@localhost [tcyang]>


root@localhost [(none)]>show global variables like "%direct%";
+-----------------------------------------+-------+
| Variable_name                           | Value |
+-----------------------------------------+-------+
| binlog_direct_non_transactional_updates | OFF   |      row格式不用管该参数
| innodb_undo_directory                   | ./    |
+-----------------------------------------+-------+
2 rows in set (0.01 sec)


这个参数是5.1.44 才引入的，从命名可理解为--非事务直接写binlog
对于非事务表（如：MyISAM），即使发起了事务begin，而结果不管提交commit，还是回滚rollback；对中间执行了的非事务表的写操作都会记录binlog。
我们开启他，这样不管任何情况对非事务表的操作都将记录binlog，规避主从数据不一致的操作。 


root@localhost [(none)]>show global variables like "%binlog%";
+-----------------------------------------+----------------------+
| Variable_name                           | Value                |
+-----------------------------------------+----------------------+
| binlog_cache_size                       | 32768                |
| binlog_checksum                         | CRC32                |
| binlog_direct_non_transactional_updates | OFF                  |
| binlog_error_action                     | ABORT_SERVER         |
| binlog_format                           | ROW                  |
| binlog_group_commit_sync_delay          | 0                    |
| binlog_group_commit_sync_no_delay_count | 0                    |
| binlog_gtid_simple_recovery             | ON                   |
| binlog_max_flush_queue_time             | 0                    |
| binlog_order_commits                    | ON                   |
| binlog_row_image                        | FULL                 |
| binlog_rows_query_log_events            | OFF                  | *******5.6开始有该功能
| binlog_stmt_cache_size                  | 32768                |
| innodb_api_enable_binlog                | OFF                  |
| innodb_locks_unsafe_for_binlog          | OFF                  |
| log_statements_unsafe_for_binlog        | ON                   |
| max_binlog_cache_size                   | 18446744073709547520 |
| max_binlog_size                         | 268435456            |
| max_binlog_stmt_cache_size              | 18446744073709547520 |
| sync_binlog                             | 0                    |
+-----------------------------------------+----------------------+
20 rows in set (0.00 sec)


root@localhost [(none)]>
set global binlog_rows_query_log_events=on;  可以在binlog_format=row中记录执行的SQL语句


root@localhost [(none)]>show binlog events in 'mysql-bin.000014' from 194;
+------------------+-----+------------+-----------+-------------+----------------------------------------------------------------------+
| Log_name         | Pos | Event_type | Server_id | End_log_pos | Info                                                                 |
+------------------+-----+------------+-----------+-------------+----------------------------------------------------------------------+
| mysql-bin.000014 | 194 | Gtid       |   1003306 |         259 | SET @@SESSION.GTID_NEXT= '8170836d-8e48-11e7-ac68-000c29b48f84:1852' |
| mysql-bin.000014 | 259 | Query      |   1003306 |         327 | BEGIN                                                                |
| mysql-bin.000014 | 327 | Table_map  |   1003306 |         379 | table_id: 219 (tcyang.test)                                          |
| mysql-bin.000014 | 379 | Write_rows |   1003306 |         419 | table_id: 219 flags: STMT_END_F                                      |
| mysql-bin.000014 | 419 | Xid        |   1003306 |         450 | COMMIT /* xid=13 */                                                  |
+------------------+-----+------------+-----------+-------------+----------------------------------------------------------------------+
5 rows in set (0.00 sec)



主库上分析日志：
/usr/local/mysql/bin/mysqlbinlog -vv  /data/mysql/mysql3306/logs/mysql-bin.000014 --start-position=194 --base64-output=DECODE-ROWS 


[root@vm-test1 logs]# /usr/local/mysql/bin/mysqlbinlog -vv  /data/mysql/mysql3306/logs/mysql-bin.000014 --start-position=194 --base64-output=DECODE-ROWS
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 194
#170904 11:18:50 server id 1003306  end_log_pos 259 CRC32 0xfe64b525    GTID    last_committed=0        sequence_number=1       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= '8170836d-8e48-11e7-ac68-000c29b48f84:1852'/*!*/;
# at 259
#170904 11:18:50 server id 1003306  end_log_pos 327 CRC32 0x69fcbe1f    Query   thread_id=5     exec_time=0     error_code=0
SET TIMESTAMP=1504495130/*!*/;
SET @@session.pseudo_thread_id=5/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 327
#170904 11:18:50 server id 1003306  end_log_pos 379 CRC32 0xd89d80ef    Table_map: `tcyang`.`test` mapped to number 219
# at 379
#170904 11:18:50 server id 1003306  end_log_pos 419 CRC32 0x33a54841    Write_rows: table id 219 flags: STMT_END_F
### INSERT INTO `tcyang`.`test`
### SET
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
###   @2=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
# at 419
#170904 11:18:50 server id 1003306  end_log_pos 450 CRC32 0x5506b022    Xid = 13
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
[root@vm-test1 logs]# 


root@localhost [(none)]>show variables like 'binlog_rows_query_log_events';
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| binlog_rows_query_log_events | OFF   |
+------------------------------+-------+
1 row in set (0.01 sec)


====================================================================================================
root@localhost [(none)]>show variables like 'binlog_rows_query_log_events';
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| binlog_rows_query_log_events | ON    |
+------------------------------+-------+
/usr/local/mysql/bin/mysqlbinlog -vv  /data/mysql/mysql3306/logs/mysql-bin.000015 --start-position=194 --base64-output=DECODE-ROWS


[root@vm-test1 data]# /usr/local/mysql/bin/mysqlbinlog -vv  /data/mysql/mysql3306/logs/mysql-bin.000015 --start-position=194 --base64-output=DECODE-ROWS
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 194
#170904 11:31:16 server id 1003306  end_log_pos 259 CRC32 0x9c29ea35    GTID    last_committed=0        sequence_number=1       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= '8170836d-8e48-11e7-ac68-000c29b48f84:1853'/*!*/;
# at 259
#170904 11:31:16 server id 1003306  end_log_pos 327 CRC32 0x3eb7618c    Query   thread_id=3     exec_time=0     error_code=0
SET TIMESTAMP=1504495876/*!*/;
SET @@session.pseudo_thread_id=3/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 327
#170904 11:31:16 server id 1003306  end_log_pos 398 CRC32 0x171028e1    Rows_query
# update tcyang.test set name='dddddd' where id=2
# at 398
#170904 11:31:16 server id 1003306  end_log_pos 450 CRC32 0xf19b789f    Table_map: `tcyang`.`test` mapped to number 219
# at 450
#170904 11:31:16 server id 1003306  end_log_pos 503 CRC32 0xdeb4d8ec    Update_rows: table id 219 flags: STMT_END_F
### UPDATE `tcyang`.`test`
### WHERE
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
###   @2=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
### SET
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
###   @2='dddddd' /* VARSTRING(150) meta=150 nullable=1 is_null=0 */
# at 503
#170904 11:31:16 server id 1003306  end_log_pos 534 CRC32 0xb0bd0f6e    Xid = 8
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
[root@vm-test1 data]# 


===============================================GTID===============


root@localhost [(none)]>show variables like '%gtid%';
+----------------------------------+-----------+
| Variable_name                    | Value     |
+----------------------------------+-----------+
| binlog_gtid_simple_recovery      | ON        |
| enforce_gtid_consistency         | ON        |   ********
| gtid_executed_compression_period | 1000      |
| gtid_mode                        | ON        |   ******
| gtid_next                        | AUTOMATIC |
| gtid_owned                       |           |
| gtid_purged                      |           |
| session_track_gtids              | OFF       |
+----------------------------------+-----------+
8 rows in set (0.00 sec)




| log_bin                                 | ON                                         |  ******
| log_bin_basename                        | /data/mysql/mysql3306/logs/mysql-bin       |
| log_bin_index                           | /data/mysql/mysql3306/logs/mysql-bin.index |
| log_bin_trust_function_creators         | ON                                         |
| log_bin_use_v1_row_events               | OFF                                        |
| log_builtin_as_identified_by_password   | OFF                                        |
| log_error                               | ./error.log                                |
| log_error_verbosity                     | 3                                          |
| log_output                              | FILE                                       |
| log_queries_not_using_indexes           | OFF                                        |
| log_slave_updates                       | ON                                         | *****



rgb_rgb
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql binlog gtid_binlog的GTID模式基础及基于GITD的数据恢复
weixin_39976575的博客
01-27 1816
本文中的mysql版本：5.7.26前言gtid功能是mysql5.6版本开始新加入的特性，在5.7、8.0及以上版本中做了加强，特别是从mysql8.0版本开始，应该是主推基于gtid模式的复制了。通过gtid保证了每个在主库上提交的事务在集群中有一个唯一的ID。这种方式强化了数据库的主备一致性，故障恢复以及容错能力。虽说gtid是mysql5.6加入的特性，但是在5.6版本中并不支持该功能，也...
02_mysql5.7基于GTID实现crash_safe&MTS并发半同步复制一主三从1
08-03
MySQL 5.7 版本引入了全局事务标识符（Global Transaction Identifier，简称 GTID）和多线程复制（Multi-Threaded Slave，简称 MTS）等特性，以提升数据库的复制性能和安全性。在本配置中，我们将讨论如何通过 GTID ...
【MySQL】GTID原理及如何使用binlog恢复数据
zclinux的博客
09-06 885
原文链接：CSDN博主「Johnny.G」https://blog.csdn.net/JohnnyG2000/article/details/124529352 感谢作者分享 1、GTID 介绍 1）什么是GTID GTID(Global Transaction ID)全局事务标识符。给予每一个已提交事务全局唯一的编号。目的在于能够实现主从自动定位和切换，不用像之前那样指定文件和位置。GTID使用冒号分隔的一对坐标表示。从MySQL5.6版本后开启支持。 2）GTID的格式与存储 ①单个GTID GTI
mysql学习--binlog与gtid主从同步
2202_76007104的博客
02-29 988
2.binlog传输到slave，并存储到salve的relaylog后，读取这个GTID的这个值设置GTID——next变量，即告诉slave，下一个要执行的GTID值。5.如果没有记录，slave会执行该GTID事务，并记录到该GTID到自身的binlog，在读取该事务前会检查其他session持有该GTID，确保不被重复执行。1.当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中。4.如果有记录说明该GTID的事务已经执行，slave会忽略。
mysql主从,gtid和binlog以及只读模式高可用实战（I）
码农崛起
08-05 1035
阿萨德sad阿萨德ad阿萨德阿萨德阿萨德阿萨德阿萨德。
mysql高可用方案，MySql主从复制原理及配置，binLog和GTID
仅做个人笔记
06-14 2734
目录 一、mysql高可用方案 1. aliyun高可用mysql(内部集成:扩容/主从/集群/故障切换) + 分表 2. 分库 + 自搭mysql主从 + 分表 + 手动或脚本主从切换 3. 更多集群架构 二、单讲binLog和GTID binLog GTID 三、MySql主从复制原理及配置 什么是主从复制？ 主从模式优点 主从复制的原理 主实例搭建 从实例搭建 将主从数据库进行连接 主从复制测试 一、mysql高可用方案 1. aliyun高可用mysql..
MYSQL 5.7 MHA(GTID+ROW)部署
08-17
MySQL 5.7 MHA（Master High Availability Manager）是一种用于MySQL数据库集群的高可用性解决方案，特别关注主从复制中的GTID（Global Transaction Identifier）和ROW模式。MHA是由日本MySQL专家Yoshinori ...
mysql5.7.29主从.docx
09-07
创建一个名为`mysql`的用户组和用户，设置合适的密码，并创建数据存储目录，如`/data/3306/data`和日志目录`/data/3306/binlog`。接着，使用`chown`命令将这些目录的所有权赋予`mysql`用户和组。 3. **上传并解...
mysql5.7 mysqlbinlog
11-20
3. ** flashback 功能**：在描述中提到的“flashback”可能是指MySQL 5.7引入的`Purge Binary Logs to GTID`功能，允许用户基于GTID（Global Transaction Identifier）回溯到某个事务，类似Oracle的闪回功能。...
MySQL 5.7并发复制隐式bug实例分析
09-09
总的来说，MySQL 5.7并发复制的隐式bug主要涉及并发复制的不正确行为、GTID处理、数据库切换以及不同版本服务器的兼容性。为了避免这些风险，建议用户保持数据库软件的最新更新，并在使用并发复制功能时仔细评估和...
mysql主从复制之binlog方式（GTID模式）问题记录
weixin_43628742的博客
11-11 590
mysql主从复制方案失败的原因
【一】MySQL 备份命令 和 binlog 解析命令 和 gtid 和 表复制 和 登录 和 环境变量
cpxsxn的博客
09-01 1373
备份命令：mysqldump --single-transaction --master-data=2 --hex-blob --set-gtid-purged=OFF -uinception -p -h172.25.206.228 xdbamp api > /tmp/api.sql Binlog 解析：mysqlbinlog --database archiver -vv --start-datetime='2021-09-01 12:35:00' --stop-datetime=
mysql 基于GTID方式的bin-log日志恢复数据
码农崛起
08-08 1067
1.如果想通过 mysql 的 binlog 恢复数据，首先要开启 binlog。这里搭建一个测试的环境，了解一下 mysql binlog 是如何恢复数据库的。原理比较简单，binlog 会存储mysql中变化的数据，比如你创建了一个数据库，写入了一些数据，这些都会存储在 mysql 的 binlog 中。需要恢复的时候就找到，两个位置，一个起始位置，一个结束的位置。结束的位置，一半是数据被破坏或者删除前的位置。mysql 8 默认已经开启了 binlog。......
MySQL-5.6版本GTID的主从复制
weixin_30634661的博客
01-23 487
mysql GTID Replication 一、GTID的概述： 1、全局事物标识：global transaction identifieds。 2、GTID事物是全局唯一性的，且一个事务对应一个GTID。 3、一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。 4、GTID用来代替classic的复制方法，不在使用binlog+pos开启复制。而是使用m...
深入理解MySQL 5.7 GTID系列（七）binlog_gtid_simple_recovery参数的影响总结
老叶茶馆
03-09 2127
作者：高鹏（重庆八怪）原文地址：深入理解MySQL 5.7 GTID系列文章共十篇，本文为第四篇，第一篇：深入理解MySQL 5.7 GTID系列（一）第二篇：深入理解MySQL 5.7 GTID系列（二）：GTID相关内部数据结构第三篇：深入理解MySQL 5.7 GTID系列（三）：GTID的生成时机第四篇：深入理解MySQL 5.7 GTID系列（四）:mysql.gtid_executed
mysql binlog日志中的GTID的应用
supahero的博客
11-04 2709
原文链接：https://www.cpweb.top/1000 一、简介   GTID (Global Transaction ID) ，全局事务ID。是一个对于已提交事务的全局唯一的编号，随着事务记录到binlog中，用来标识事务，每一个事务都会有一个。   GTID 实际上是由 server_uuid + transaction_id 组成的：   **server_uuid：**一个mysql实例的唯一标识，每一台mysql实例的server_uuid都是不同的。在mysql第一次启动时...
点位、gtid、binlog、redolog
Joy_B的博客
07-31 1223
  从库都是通过读取日志的形式来进行“追”主库的备份。在逻辑备份中，日志的记录方式有两种，一种是点位，另一种是gtid。 （1）点位   点位记录方式是由两部分组成，第一部分是日志的编号，因为假如一个日志的容量是1.1G，当这个日志满了后就会分裂成多个日志，此时从库要从主库的哪一个日志开始读取追赶主库，就要用到第一部分的“位“来定位是哪个日志；第二部分是用来定位日志的事务，也就是从库要执行第几个日...
mysql gtid binlog_mysql利用有gtid模式的binlog日志文件恢复数据
weixin_34374031的博客
01-19 344
一、新建数据库test_gtid，并在下面新建一个表test_gtid.并插入几条测试数据mysql>create database test_gtid CHARSET utf8;Query OK, 1 row affected (0.01 sec)mysql> create table test_gtid( id INT NOT NULL PRIMARY KEY AUTO_INCRE...
Canal binlog 日志管理器与GTID简介
中间件兴趣圈
08-02 3795
本节目录1、Canal 位点管理（日志管理器）1.1 类图1.2 日志管理器使用方法2、MySQL GTID 扫盲 正如上文提到的那样，在 Canal Instance 启动的时候，首先会查询日志管理器中查找上一次的同步位点，如果没有查询到，则默认会从最新的位点开始同步，但如果每一次启动Instance都从最后开始同步，其数据完整性无法保证，正确的做法是在数据同步的过程中应该记录位点并持久化，重新启动后按照继续从上一次的位置继续同步，实现真正的增量同步。 本文就是来详细探讨 Canal的几个日志管理器，并来
mysql5.7主从 gtid
最新发布
06-07
MySQL 5.7引入了GTID（Global Transaction ID）作为事务标识机制，这对于主从复制和集群管理非常重要。GTID的主要目的是提供更强的一致性和可靠性，特别是对于分布式环境中的数据库复制。 在主从复制中，GTID的作用是： 1. **事务跟踪**：每个事务都有一个唯一的GTID，这使得复制系统能够精确地跟踪和复制所有的更改，即使在复制过程中有网络中断或故障也能恢复。 2. **自动分片**（Automatic Partitioning）：当使用GTID时，MySQL可以在多个从库上自动分配事务，而不需要手工设置复制位置。 3. **故障转移**：GTID使得主库在切换时能基于当前的事务状态进行，从而简化了故障转移过程，提高了可用性。 - **GTID模式**：MySQL 5.7有两种GTID模式：`ON` 和 `OFF`。`ON`模式下，每个连接都生成唯一的GTID，`OFF`模式则默认使用旧的二进制日志模式。 - **主从同步**：在主从复制中，主库会将GTID发送给从库，从库根据接收到的GTID来决定何时开始读取新的binlog并执行复制操作。 - **跨实例复制**：GTID还支持跨多个MySQL实例的复制，比如在云计算环境中，可以轻松地管理多个数据库实例之间的数据同步。 如果你对某个具体方面有疑问，例如如何配置GTID、处理GTID冲突或者监控GTID的使用情况，欢迎提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值