binlog内容分析

最新推荐文章于 2024-06-30 15:21:06 发布
最新推荐文章于 2024-06-30 15:21:06 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： mysql 文章标签： 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huguangshanse00/article/details/113829105
版权

binlog作用

mysql提供了binlog功能，任何对数据库的增删改操作及DDL操作都会记录在binlog中；数据库的主备复制当前（5.7、8.0版本）也是基于binlog进行的。

提出问题

  1. binlog可以理解为记录数据库操作语句的存储的文件，执行的语句有多种类别，是否记录也分为不同的类别进行记录？
  2. binlog 记录事件的格式分为哪几种，有什么区别？
  3. 记录事件时怎么来获取该事件对应的长度？是否有结束标志类似的信息还是有记录长度的信息？
  4. 如何根据binlog信息进行回滚操作？ 可以根据insert、update、delete、truncate 进行分别说明
  5. binlog 写记录是在什么时候进行的？ binlog 、 undo 、 redo 、表数据文件 这几个顺序?

binlog 涉及的开关及格式

log_bin – binlog是否开启开关
binlog_format – binlog格式：statement, row, mixed
log_bin_basename – binlog名称前缀
log_bin_index – 记录数据库binlog文件名称的文件
max_binlog_cache_size – binlog可以使用最大缓存的大小
max_binlog_size – binlog物理文件大小
sync_binlog – 控制binlog缓存刷盘的频率：0 表示由文件系统控制刷盘
1 表示每次事务提交都会刷盘，这样最安全不会丢失事务， 该参数很影响性能
binlog_group_commit_sync_delay – 等待多长时间后才进行组提交，该参数可能影响性能
还有很多binlog参数，不再列出。

statement 格式下的binlog内容

读取binlog文件的内容可以通过以下两种方式：

  1. 通过mysqlbinlog 可执行文件进行读取
  2. 通过mysql提供的sql命令 show binlog events in ‘mysql-bin.000117’ 进行读取
查看binlog文件
mysql> show binary logs;  
+------------------+-----------+  
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000112 |       154 |
| mysql-bin.000113 |       951 |
| mysql-bin.000114 |      1178 |
| mysql-bin.000115 |       426 |
| mysql-bin.000116 |       841 |
| mysql-bin.000117 |      3119 |
+------------------+-----------+
6 rows in set (0.00 sec)

mysqlbinlog --no-defaults --help 查看使用方式
主要使用的参数有：
–skip-gtids
–start-position=
–stop-position=
–verbose
–include-gtids=name
–exclude-gtids=name

mysqlbinlog --no-defaults mysql-bin.000117 > 1.txt

mysql> show variables like '%binlog_format%';
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.01 sec)


[wl@host122 data]$ cat 1.txt 4
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#210204 20:47:39 server id 1  end_log_pos 123 CRC32 0x9f0743fa  Start: binlog v 4, server v 5.7.26-debug-log created 210204 20:47:39
# Warning: this binlog is either in use or was not closed properly.
BINLOG '
6+wbYA8BAAAAdwAAAHsAAAABAAQANS43LjI2LWRlYnVnLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
AfpDB58=
'/*!*/;
# at 123
#210204 20:47:39 server id 1  end_log_pos 154 CRC32 0x7e9b0f9d  Previous-GTIDs
# [empty]
# at 154
#210204 20:47:43 server id 1  end_log_pos 219 CRC32 0x9b46cfba  Anonymous_GTID  last_committed=0        sequence_number=1       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 219
#210204 20:47:43 server id 1  end_log_pos 297 CRC32 0x12de1cce  Query   thread_id=2     exec_time=0     error_code=0
use `db1`/*!*/;
SET TIMESTAMP=1612442863/*!*/;
SET @@session.pseudo_thread_id=2/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=45,@@session.collation_connection=45,@@session.collation_server=45/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
flush tables
/*!*/;
# at 297
#210215 16:00:32 server id 1  end_log_pos 362 CRC32 0x3aca370c  Anonymous_GTID  last_committed=1        sequence_number=2       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 362
#210215 16:00:32 server id 1  end_log_pos 439 CRC32 0x9c93e331  Query   thread_id=2859  exec_time=0     error_code=0
SET TIMESTAMP=1613376032/*!*/;
BEGIN
/*!*/;
# at 439
#210215 16:00:32 server id 1  end_log_pos 541 CRC32 0x998b521c  Query   thread_id=2859  exec_time=0     error_code=0
SET TIMESTAMP=1613376032/*!*/;
insert into t1 values(101,101)
/*!*/;
# at 541
#210215 16:00:32 server id 1  end_log_pos 572 CRC32 0xf92d923c  Xid = 66
COMMIT/*!*/;
# at 572
#210215 16:05:59 server id 1  end_log_pos 637 CRC32 0x70da93f9  Anonymous_GTID  last_committed=2        sequence_number=3       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 637
#210215 16:05:59 server id 1  end_log_pos 711 CRC32 0x8ad74716  Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376359/*!*/;
BEGIN
/*!*/;
# at 711
#210215 16:05:59 server id 1  end_log_pos 814 CRC32 0x9d541cfa  Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376359/*!*/;
insert into db1.t1 values(102,102)
/*!*/;
# at 814
#210215 16:05:59 server id 1  end_log_pos 845 CRC32 0x7e646a22  Xid = 84
COMMIT/*!*/;
# at 845
#210215 16:07:13 server id 1  end_log_pos 910 CRC32 0xbf90742e  Anonymous_GTID  last_committed=3        sequence_number=4       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 910
#210215 16:06:47 server id 1  end_log_pos 984 CRC32 0x76738025  Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376407/*!*/;
BEGIN
/*!*/;
# at 984
#210215 16:06:47 server id 1  end_log_pos 1087 CRC32 0x58d9408a         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376407/*!*/;
insert into db1.t1 values(103,103)
/*!*/;
# at 1087
#210215 16:06:50 server id 1  end_log_pos 1165 CRC32 0x5ad4a866         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376410/*!*/;
SAVEPOINT `sp1`
/*!*/;
# at 1165
#210215 16:07:13 server id 1  end_log_pos 1196 CRC32 0xc181e7c8         Xid = 87
COMMIT/*!*/;
# at 1196
#210215 16:08:05 server id 1  end_log_pos 1261 CRC32 0x8ef0d74c         Anonymous_GTID  last_committed=4        sequence_number=5       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 1261
#210215 16:07:35 server id 1  end_log_pos 1335 CRC32 0xcab1422f         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376455/*!*/;
BEGIN
/*!*/;
# at 1335
#210215 16:07:35 server id 1  end_log_pos 1438 CRC32 0x9eb2f1aa         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376455/*!*/;
insert into db1.t1 values(104,104)
/*!*/;
# at 1438
#210215 16:07:41 server id 1  end_log_pos 1516 CRC32 0x5b0bc6b5         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376461/*!*/;
SAVEPOINT `sp1`
/*!*/;
# at 1516
#210215 16:07:45 server id 1  end_log_pos 1619 CRC32 0x5b277cec         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376465/*!*/;
insert into db1.t1 values(105,105)
/*!*/;
# at 1619
#210215 16:07:50 server id 1  end_log_pos 1697 CRC32 0x5e9e2a85         Query   thread_id=2861  exec_time=0     error_code=0
SET TIMESTAMP=1613376470/*!*/;
SAVEPOINT `sp2`
/*!*/;
# at 1697
#210215 16:08:05 server id 1  end_log_pos 1728 CRC32 0x156b7de6         Xid = 96
COMMIT/*!*/;
# at 1728
#210215 17:20:11 server id 1  end_log_pos 1793 CRC32 0x8f56255a         Anonymous_GTID  last_committed=5        sequence_number=6       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 1793
#210215 17:20:11 server id 1  end_log_pos 1870 CRC32 0xa26c7f2b         Query   thread_id=2863  exec_time=0     error_code=0
SET TIMESTAMP=1613380811/*!*/;
BEGIN
/*!*/;
# at 1870
#210215 17:20:11 server id 1  end_log_pos 1972 CRC32 0xf89a1241         Query   thread_id=2863  exec_time=0     error_code=0
use `db1`/*!*/;
SET TIMESTAMP=1613380811/*!*/;
insert into t1 values(120,120)
/*!*/;
# at 1972
#210215 17:20:11 server id 1  end_log_pos 2003 CRC32 0xfe127e27         Xid = 137
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

通过show binglog events 查看

mysql> show binlog events in 'mysql-bin.000117';
+------------------+------+----------------+-----------+-------------+---------------------------------------------+
| Log_name         | Pos  | Event_type     | Server_id | End_log_pos | Info                                        |
+------------------+------+----------------+-----------+-------------+---------------------------------------------+
| mysql-bin.000117 |    4 | Format_desc    |         1 |         123 | Server ver: 5.7.26-debug-log, Binlog ver: 4 |
| mysql-bin.000117 |  123 | Previous_gtids |         1 |         154 |                                             |
| mysql-bin.000117 |  154 | Anonymous_Gtid |         1 |         219 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 |  219 | Query          |         1 |         297 | use `db1`; flush tables                     |
| mysql-bin.000117 |  297 | Anonymous_Gtid |         1 |         362 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 |  362 | Query          |         1 |         439 | BEGIN                                       |
| mysql-bin.000117 |  439 | Query          |         1 |         541 | use `db1`; insert into t1 values(101,101)   |
| mysql-bin.000117 |  541 | Xid            |         1 |         572 | COMMIT /* xid=66 */                         |
| mysql-bin.000117 |  572 | Anonymous_Gtid |         1 |         637 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 |  637 | Query          |         1 |         711 | BEGIN                                       |
| mysql-bin.000117 |  711 | Query          |         1 |         814 | insert into db1.t1 values(102,102)          |
| mysql-bin.000117 |  814 | Xid            |         1 |         845 | COMMIT /* xid=84 */                         |
| mysql-bin.000117 |  845 | Anonymous_Gtid |         1 |         910 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 |  910 | Query          |         1 |         984 | BEGIN                                       |
| mysql-bin.000117 |  984 | Query          |         1 |        1087 | insert into db1.t1 values(103,103)          |
| mysql-bin.000117 | 1087 | Query          |         1 |        1165 | SAVEPOINT `sp1`                             |
| mysql-bin.000117 | 1165 | Xid            |         1 |        1196 | COMMIT /* xid=87 */                         |
| mysql-bin.000117 | 1196 | Anonymous_Gtid |         1 |        1261 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 | 1261 | Query          |         1 |        1335 | BEGIN                                       |
| mysql-bin.000117 | 1335 | Query          |         1 |        1438 | insert into db1.t1 values(104,104)          |
| mysql-bin.000117 | 1438 | Query          |         1 |        1516 | SAVEPOINT `sp1`                             |
| mysql-bin.000117 | 1516 | Query          |         1 |        1619 | insert into db1.t1 values(105,105)          |
| mysql-bin.000117 | 1619 | Query          |         1 |        1697 | SAVEPOINT `sp2`                             |
| mysql-bin.000117 | 1697 | Xid            |         1 |        1728 | COMMIT /* xid=96 */                         |
| mysql-bin.000117 | 1728 | Anonymous_Gtid |         1 |        1793 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000117 | 1793 | Query          |         1 |        1870 | BEGIN                                       |
| mysql-bin.000117 | 1870 | Query          |         1 |        1972 | use `db1`; insert into t1 values(120,120)   |
| mysql-bin.000117 | 1972 | Xid            |         1 |        2003 | COMMIT /* xid=137 */                        |
+------------------+------+----------------+-----------+-------------+---------------------------------------------+
28 rows in set (0.01 sec)

binlog 格式为row

mysql> use  db1;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> truncate t1;
Query OK, 0 rows affected (0.02 sec)

mysql> insert into t1 values(1,1);
Query OK, 1 row affected (0.01 sec)

mysql> show binlog events in 'mysql-bin.000118';
+------------------+-----+----------------+-----------+-------------+---------------------------------------------+
| Log_name         | Pos | Event_type     | Server_id | End_log_pos | Info                                        |
+------------------+-----+----------------+-----------+-------------+---------------------------------------------+
| mysql-bin.000118 |   4 | Format_desc    |         1 |         123 | Server ver: 5.7.26-debug-log, Binlog ver: 4 |
| mysql-bin.000118 | 123 | Previous_gtids |         1 |         154 |                                             |
| mysql-bin.000118 | 154 | Anonymous_Gtid |         1 |         219 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000118 | 219 | Query          |         1 |         296 | use `db1`; truncate t1                      |
| mysql-bin.000118 | 296 | Anonymous_Gtid |         1 |         361 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'        |
| mysql-bin.000118 | 361 | Query          |         1 |         432 | BEGIN                                       |
| mysql-bin.000118 | 432 | Table_map      |         1 |         477 | table_id: 114 (db1.t1)                      |
| mysql-bin.000118 | 477 | Write_rows     |         1 |         521 | table_id: 114 flags: STMT_END_F             |
| mysql-bin.000118 | 521 | Xid            |         1 |         552 | COMMIT /* xid=15 */                         |
+------------------+-----+----------------+-----------+-------------+---------------------------------------------+
9 rows in set (0.00 sec)


[wl@host122 data]$ mysqlbinlog --no-defaults --base64-output=decode-rows  mysql-bin.000118 -v
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#210216 12:46:45 server id 1  end_log_pos 123 CRC32 0x2056db8d  Start: binlog v 4, server v 5.7.26-debug-log created 210216 12:46:45 at startup
# Warning: this binlog is either in use or was not closed properly.
ROLLBACK/*!*/;
# at 123
#210216 12:46:45 server id 1  end_log_pos 154 CRC32 0x42c28e90  Previous-GTIDs
# [empty]
# at 154
#210216 12:47:03 server id 1  end_log_pos 219 CRC32 0x355f8700  Anonymous_GTID  last_committed=0        sequence_number=1       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 219
#210216 12:47:03 server id 1  end_log_pos 296 CRC32 0x1fcc0cdb  Query   thread_id=2     exec_time=0     error_code=0
use `db1`/*!*/;
SET TIMESTAMP=1613450823/*!*/;
SET @@session.pseudo_thread_id=2/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=45,@@session.collation_connection=45,@@session.collation_server=45/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
truncate t1
/*!*/;
# at 296
#210216 12:47:09 server id 1  end_log_pos 361 CRC32 0x6a88fd11  Anonymous_GTID  last_committed=1        sequence_number=2       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 361
#210216 12:47:09 server id 1  end_log_pos 432 CRC32 0x4ade8664  Query   thread_id=2     exec_time=0     error_code=0
SET TIMESTAMP=1613450829/*!*/;
BEGIN
/*!*/;
# at 432
#210216 12:47:09 server id 1  end_log_pos 477 CRC32 0xd2c00cf0  Table_map: `db1`.`t1` mapped to number 114
# at 477
#210216 12:47:09 server id 1  end_log_pos 521 CRC32 0x32810d99  Write_rows: table id 114 flags: STMT_END_F
### INSERT INTO `db1`.`t1`
### SET
###   @1=1
###   @2=1
# at 521
#210216 12:47:09 server id 1  end_log_pos 552 CRC32 0x23be7c04  Xid = 15
COMMIT/*!*/;
# at 552
#210216 12:54:02 server id 1  end_log_pos 617 CRC32 0x6520e86f  Anonymous_GTID  last_committed=2        sequence_number=3       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 617
#210216 12:54:02 server id 1  end_log_pos 688 CRC32 0xc9b3241a  Query   thread_id=3     exec_time=0     error_code=0
SET TIMESTAMP=1613451242/*!*/;
BEGIN
/*!*/;
# at 688
#210216 12:54:02 server id 1  end_log_pos 733 CRC32 0x341df0e3  Table_map: `db1`.`t1` mapped to number 114
# at 733
#210216 12:54:02 server id 1  end_log_pos 787 CRC32 0x54890e68  Update_rows: table id 114 flags: STMT_END_F
### UPDATE `db1`.`t1`
### WHERE
###   @1=1
###   @2=1
### SET
###   @1=2
###   @2=1
# at 787
#210216 12:54:02 server id 1  end_log_pos 818 CRC32 0xedab9413  Xid = 30
COMMIT/*!*/;
# at 818
#210216 12:54:37 server id 1  end_log_pos 883 CRC32 0x58740890  Anonymous_GTID  last_committed=3        sequence_number=4       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 883
#210216 12:54:37 server id 1  end_log_pos 954 CRC32 0xb5d5754b  Query   thread_id=4     exec_time=0     error_code=0
SET TIMESTAMP=1613451277/*!*/;
BEGIN
/*!*/;
# at 954
#210216 12:54:37 server id 1  end_log_pos 999 CRC32 0x47a45fe0  Table_map: `db1`.`t1` mapped to number 114
# at 999
#210216 12:54:37 server id 1  end_log_pos 1070 CRC32 0x376bc03f         Write_rows: table id 114 flags: STMT_END_F
### INSERT INTO `db1`.`t1`
### SET
###   @1=2
###   @2=2
### INSERT INTO `db1`.`t1`
### SET
###   @1=3
###   @2=3
### INSERT INTO `db1`.`t1`
### SET
###   @1=4
###   @2=4
### INSERT INTO `db1`.`t1`
### SET
###   @1=5
###   @2=5
# at 1070
#210216 12:54:37 server id 1  end_log_pos 1101 CRC32 0x9eda2748         Xid = 44
COMMIT/*!*/;
# at 1101
#210216 12:54:53 server id 1  end_log_pos 1166 CRC32 0xe32275e5         Anonymous_GTID  last_committed=4        sequence_number=5       rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 1166
#210216 12:54:53 server id 1  end_log_pos 1237 CRC32 0xfb0640f2         Query   thread_id=4     exec_time=0     error_code=0
SET TIMESTAMP=1613451293/*!*/;
BEGIN
/*!*/;
# at 1237
#210216 12:54:53 server id 1  end_log_pos 1282 CRC32 0x27505936         Table_map: `db1`.`t1` mapped to number 114
# at 1282
#210216 12:54:53 server id 1  end_log_pos 1390 CRC32 0x93ed8f4c         Update_rows: table id 114 flags: STMT_END_F
### UPDATE `db1`.`t1`
### WHERE
###   @1=2
###   @2=2
### SET
###   @1=3
###   @2=2
### UPDATE `db1`.`t1`
### WHERE
###   @1=3
###   @2=3
### SET
###   @1=4
###   @2=3
### UPDATE `db1`.`t1`
### WHERE
###   @1=4
###   @2=4
### SET
###   @1=5
###   @2=4
### UPDATE `db1`.`t1`
### WHERE
###   @1=5
###   @2=5
### SET
###   @1=6
###   @2=5
# at 1390
#210216 12:54:53 server id 1  end_log_pos 1421 CRC32 0x13584d15         Xid = 45
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

这个本来时update t1 set id1 = id2+1 可以看出，上面对应了多个update语句。

mysqlbinlog 源码解读

涉及的源码文件： mysqlbinlog.cc
涉及的主要函数：
dump_multiple_logs ->
dump_single_log ->
dump_local_log_entries ->
process_event

函数 dump_multiple_logs

非raw_mode 模式下，输出内容对应sql语句的间隔符为 /!/
然后主要调用 dump_single_log

函数 dump_single_log

根据 opt_remote_proto 调用不同的函数进行处理

static enum enum_remote_proto {
BINLOG_DUMP_NON_GTID = 0,
BINLOG_DUMP_GTID = 1,
BINLOG_LOCAL = 2
} opt_remote_proto = BINLOG_LOCAL;

    case BINLOG_LOCAL:
      rc = dump_local_log_entries(print_event_info, logname);
      break;
    case BINLOG_DUMP_NON_GTID:
    case BINLOG_DUMP_GTID:
      rc = dump_remote_log_entries(print_event_info, logname);
      break;
    default:
      DBUG_ASSERT(0);

函数 dump_local_log_entries

根据起始点及结束点进行读取内容，主要调用了
函数 Log_event::read_log_event 调用 read_log_event
函数 process_event

函数 process_event

根据 case ev_type 对不同的类型进行进行处理。
如 binary_log::QUERY_EVENT
binary_log::ANONYMOUS_GTID_LOG_EVENT
问题：读取一个事件时，怎么判断是否结束了？
：：根据Log_event::read_log_event 函数中事件类型，可以看出事件实际存储的长度大小。
在 ulong data_len = uint4korr(head + EVENT_LEN_OFFSET); 会记录当前事件的长度

需要了解的类：
Format_description_log_event
Format_description_event
Log_event
print_event_info

参开

MYSQL中BINLOG_FORMAT的三种模式
https://www.cnblogs.com/xingyunfashi/p/8431780.html

MySQL闪回技术——binlog2sql工具
https://www.cnblogs.com/ziroro/p/9620175.html

mysqlbinlog 工具分析binlog日志
https://www.cnblogs.com/lvzf/p/10689462.html

huguangshanse00
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
binlog解析技巧
easydb.net
07-08 2914
MySQL binlog解析技巧
binlog解析
doujiayun3939的博客
06-23 1342
MySQL的binlog 日志对于生产环境非常有用，任何时间对数据库的修改都会记录在binglog中；当数据发生增删改，创建数据库对象都会记录到binlog中，数据库的复制也是基于binlog进行同步数据； 和SQL SERVER 数据库开启完整模式的原理一样，每一次的数据的变动都会记录在案；（对数据库的select,show这些操作不会记录在binlog） 下面介绍mysqlbinlog工具查看 二进制日志内容； 检查工作： 1，查看是否开启binlog show variables like
binlog的详细介绍与分析
chenliang
03-13 3066
文章目录1.1 binlog基本介绍1.2 binlog有何作用1.3 binlog的开启与查看1.4 binlog的索引文件说明 1.1 binlog基本介绍 二进制日志（binlog）的作用是记录MySQL数据库所有DDL、DML类型语句的操作，但不记录DML类型语句中的select的操作；比如说你在mysql中操作了一条sql语句（create database;）那么这条语句会被记录到二进...
干货总结！三种解析MySQL的BinLog数据的方案整理
最新发布
2301_78976656的博客
06-30 460
不知道你是否有遇到过需要解析binlog日志的场景。今天我整理了一些对binlog解析的解决方案，供大家参考下。
Binlog详解
weixin_33904756的博客
07-14 280
Mysql binlog是二进制日志文件，用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)，在mysql主从复制中就是依靠的binlog。可以通过语句“show binlog events in 'binlogfile'”来查看binlog的具体事件类型。bi...
mysql_binlog格式分析，快速了解binlog日志格式
jioulongzi的专栏
12-19 857
mysql binlog 日志解析及分析流程在mysql中，binlog记录了所有记录操作(insert,update,delete)当然也包括表变更等操作本篇文章将详细讲解binlog格式以及常见的问题，为广大道友快速入门！以下流程执行环境为:mysql8。
mysql binlog二进制日志详解
09-11
### MySQL Binlog 二进制日志详解 #### 基本概念 **定义：** MySQL 的二进制日志（Binlog）是一种记录数据库所有更新操作的日志形式，包括那些实际更新了数据以及那些虽然执行但未找到匹配行（如未匹配任何行的 ...
binlog测试log
06-12
通过对提供的文件内容的分析，我们了解了MySQL Binlog的基本概念、格式、文件结构以及如何解析具体的Binlog事件。Binlog在MySQL的日常运维管理中扮演着极其重要的角色，无论是对于数据恢复还是主从复制都是非常关键...
详解监听MySQL的binlog日志工具分析：Canal
12-14
1. 数据过滤：支持按表名、字段内容等进行过滤。 2. 数据路由/分发：将数据分发到多个存储。 3. 数据归并：合并多个数据源的增量数据，按时间戳或全局ID排序。 4. 数据加工：在存储前进行额外处理，如JOIN操作。 ...
MySQL中的binlog相关命令和恢复技巧
09-10
` 这个命令用于查看特定binlog文件中的事件，限制显示前10个事件，有助于分析日志内容。 2. `reset master` 删除所有binlog文件，这将清除所有binlog信息，应谨慎使用。 3. `flush logs` 生成新的binlog文件，通常...
Mysql数据库监听binlog的开启步骤
09-09
MySQL数据库的二进制日志（binlog）记录了所有改变数据库状态的事务，这对于数据恢复、主从复制以及实时数据分析等场景至关重要。监听binlog可以让应用程序捕获这些变更事件，以便实现特定的功能，例如在用户删除...
mysqlbinlog工具详解
10-01
详细讲解了mysqlbinlog数据库库回复的详细过程，减少了参数的冗余性造成的命令看不懂得现象
show binlog events 命令查看某个binlog日志内容
Johnson_Liang的博客
12-15 1013
mysql> show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]; 选项解析： IN 'log_name' 指定要查询的binlog文件名(不指定就是第一个binlog文件) FROM pos 指定从哪个pos起始点开始查起(不指定就是从整个文件首个pos点开始算) LIMIT [offset,] 偏移量(不指定就是0) row_count 查询总条数(不指定就是所有行) ...
mysql mysqlbinlog_腾讯工程师带你深入解析 MySQL binlog
weixin_36305686的博客
01-19 268
欢迎大家前往云+社区，获取更多腾讯海量技术实践干货哦~作者：腾讯云数据库内核团队原文标题：【腾讯云CDB】深入解析MySQL binlog1.概述binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘中；作用主要有：复制：MySQL R...
binlog浅析(转)
flyingwindow的博客
01-30 859
本文转载https://www.cnblogs.com/fengtingxin/p/11104758.html文章，仅用于学习交流使用。可通过上述链接跳转到原文。
mysql分析binlog
敖尔其楞的专栏
01-03 469
在很多情况下我们都有需要分析binlog的需求，对于python来说可以使用https://github.com/noplay/python-mysql-replication 来解析binlog
技术分享 | MySQL binlog 分析工具 analysis_binlog 的使用介绍
ActionTech的博客
03-31 1255
作者：莫善 某互联网公司资深 DBA。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 目 录 一、概述 二、环境信息 三、环境准备 1、centos1 2、centos2 3、centos3 四、测试 1、准备数据 2、flush binlog 3、MySQL 压测 4、解析 binlog 五、总结 一、概述 作为一个 MySQL DBA，查看分析 binlog 是日常工作的一部分。 不知道你是否遇到过这样的需求：一个时间段，各个表的 dml 统计.
使用canal分析binlog(二) canal源码分析
05-13
在上一篇文章中，我们介绍了使用 Canal 分析 Binlog 的基本流程和使用方法。本文将继续深入探讨 Canal 的源码实现。 Canal 的架构设计 Canal 的整体架构可以分为三个部分：Client、Server、Store。其中，Client 是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值