MySQL binlog 设计

最新推荐文章于 2024-11-11 08:41:40 发布
最新推荐文章于 2024-11-11 08:41:40 发布
阅读量503 收藏
点赞数
文章标签： 数据库 mysql database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44065217/article/details/121347198
版权
本文深入探讨了MySQL的binlog设计，包括其作用、三种类型（Statement、Row、Mixed）的优缺点，以及binlog文件的结构。binlog主要用于数据复制和恢复，其中Row模式是最安全的选择，而binlog事件包括了诸如Query、Table_map等不同分类，每个事件都包含特定的header和data结构。文章还讨论了binlog在主从复制中的工作模式及常见问题。
摘要由CSDN通过智能技术生成

通过这篇文章你能了解到的知识

  • binlog 是什么
  • binlog 的作用
  • binlog 的三种类型，以及各自优缺点
  • binlog 文件的结构与内容

binlog 是什么

Binary Log，顾名思义是一种二进制格式的日志。具体来说，binlog 日志是一组包含了对 MySQL server 实例进行数据修改（update/delete/insert/...）信息的文件。

binlog 作用

  • 用于复制，如主从复制
  • 数据恢复

binlog 类型

  1. 基于语句 (Statement-based)的日志记录 (SBL): 事件包含产生数据变化的SQL语句。
  2. 基于行 (Row-based) 的日志记录(RBL): 描述单个行的变化
  3. 混合 (Mixed)：上述两者结合使用, 以 SBL 为主，特殊情况下切换到 RBL

binlog 为什么会有这三种类型？

一开始只有 statement-based，但 statement-based 存在不少问题，后面才有的 row 与 mixed。

SBL 优点

  • 产生的日志文件少， io 次数少

SBL 缺点

  • 在一些不安全的语句上，主从复制做不到数据一致，比如

    1. 含有系统函数的语句，可能会在副本上返回不同的值，如 RAND(), USER(),UUID(), SYSDATE() ....

    2. 更新一个有 AUTO_INCREMENT 列的表

    3. Updates using LIMIT

    4. …

  • 慢 SQL 会在副本中再执行一次

RBL 优点

  • 这是最安全的复制形式
  • 在 INSERT/UPDATE/DELETE 语句中，副本相对主行锁范围更小。

RBL 缺点

  • RBL 日志文件更大

总结

推荐使用 RBL，利大于弊，最新 MySQL 版本默认也是使用 RBL。

binlog 结构

binlog 文件结构

binlog.index : 文本文件，如下面的例子，列出了当前的二进制日志文件（现在有 6 个）。

binlog.xxxxxx: log 二进制文件，

binlog.000001
binlog.000002
binlog.000003
binlog.000004
binlog.000005
binlog.000006
binlog.index

每个日志文件以一个 4 字节魔数 ( 0xfe b i n) 开头，后面是一组描述数据修改的事件，文件格式如下：

+===================+
| Magic Number	    |
+===================+
| Start Event		|
+===================+
| Event 1			|
+===================+
| ...				|
+===================+

一个具体的例子：

 show BINLOG EVENTS in 'binlog.000001'
+---------------+---------+----------------+-----------+-------------+-------------------------------------------------------------------+
| Log_name      | Pos     | Event_type     | Server_id | End_log_pos | Info                                                              |
+---------------+---------+----------------+-----------+-------------+-------------------------------------------------------------------+
| binlog.000001 | 4       | Format_desc    | 1         | 125         | Server ver: 8.0.26, Binlog ver: 4                                 |
| binlog.000001 | 125     | Previous_gtids | 1         | 156         |                                                                   |
| binlog.000001 | 156     | Anonymous_Gtid | 1         | 233         | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'                              |
| binlog.000001 | 233     | Query          | 1         | 337         | use `mysql`; TRUNCATE TABLE time_zone /* xid=3 */                 |
| binlog.000001 | 337     | Anonymous_Gtid | 1         | 414         | SET @@SESSION.GTID_NEXT= 'ANONYMOUS'                              |
| binlog.000001 | 414     | Query          | 1         | 523         | use `mysql`; TRUNCATE TABLE time_zone_name /* xid=4 */            |

事件 Event 常见分类

  • START_EVENT_V3: 每个日志文件的第一个事件， 该事件在MySQL 3.23 至 4.1 中使用，在 MySQL 5.0 中被 FORMAT_DESCRIPTION_EVENT 所取代， 从第五个字节开始（魔数后）
  • QUERY_EVENT : SBL 的 binlog 记录 sql 语句，在 row 模式下记录事务 begin
  • STOP_EVENT : mysqld 进程停止时记录
  • ROTATE_EVENT: log 文件大小到达设置的最大值，切换到新的 log 文件时写入，切换事件
  • TABLE_MAP_EVENT: 在 binlog 文件是以 ROW 格式记录才会使用，TABLE_MAP_EVENT 中记录了表的定义（包括database name, table name，字段定义），记录的每个更改的记录之前都会有一个对应要操作的表的 TABLE_MAP_EVENT
  • WRITE_ROWS_EVENT: 插入记录，ROW 格式记录才会使用
  • UPDATE_ROWS_EVENT: 更新记录，ROW 格式记录才会使用
  • DELETE_ROWS_EVENT: 删除记录，ROW 格式记录才会使用
  • …

Event 结构

binlog 版本的演变实质上是 Event 的演变

  • v1：在MySQL 3.23 中使用

  • v3：在MySQL 4.0.2 和4.1中使用

  • v4：在MySQL 5.0 及以上版本中使用

v2 已经在 4.0 中使用过，已经废弃了

其中 Event 又分为两个部分: Event header 和 Event data。header 部分的长度由 binlog 版本决定，data 部分的长度又由 header 决定

+===================+
| event header      |
+===================+
| event data        |
+===================+

以下是 Event 的具体结构以及各版本之间的差异

其中数字代表着这个字段在 Event 中的 limit 与 offset， 例如 0:4，代表着在这个字段的位置在 Event 的 0-4 个字节。

+=====================================+
| event  | timestamp         0 : 4    |
| header +----------------------------+
|        | type_code         4 : 1    |
|        +----------------------------+
|        | server_id         5 : 4    |
|        +----------------------------+
|        | event_length      9 : 4    | v1 header 共 13 个字节
|        +----------------------------+
|        | next_position    13 : 4    | v3 版本增加。
|        +----------------------------+
|        | flags            17 : 2    | v3 版本增加。 v3 header 共 19 个字节
|        +----------------------------+
|        | extra_headers    19 : x-19 | v4 版本增加。 v4 header 最少 19 个字节
+=====================================+
| event  | fixed part        x : y    |
| data   +----------------------------+
|        | variable part              |
+=====================================+

header 部分各字段解释

  • timestamp: 事物开始执行的时间，单位秒
  • type_code: 事件类型， 见上文 [事件常见分类](#事件 Event 常见分类)，它决定了 data 部分的写入数据
  • server_id: 来自服务器配置文件中为复制目的设置的 server-id 选项，破除复制中可能的死循环。
  • event_length: 这个 event 的总长度
  • next_position: v3 新加，在 v3 版本中代表这个事件开始的位置，在 v4 版本中这个事件结束的位置
  • flags: v3 新加，一些标志位 https://dev.mysql.com/doc/internals/en/event-flags.html
  • extra_header: v4 新加，目前是 0，即空

data 部分

由事件类型决定，如 v1，v3 query 事件，data 部分构成如下：

+======================================+
| fixed   | issue_thread      0 : 4    | 触发该语句的线程id
| part    +----------------------------+
|         | timestamp         4 : 4    | 语句执行的时间
|         +----------------------------+
|         | db_name_len       8 : 1    | 使用数据库名长度
|         +----------------------------+
|         | error_code        9 : 2    | 错误码
+======================================+
| variable| db_name                    | db name
| part    +----------------------------+
|         | sql_statment               | sql 语句
+======================================+

总结

  • binlog 文件由魔数与事件列表构成，事件列表分成三部分：开始事件 + 数据更新相关的事件 + 切换事件
  • 事件的类型决定了事件的格式，因为每种事件所需的信息是不一致的

常见问题

  1. 主从复制，采取的是 push 模式还是 pull 模式

  2. MySQL binlog 为什么不默认使用 Mixed 模式

  3. 在使用RBL前提下 ，DDL（CREATE/ALTER） 语句怎么记录

  4. 使用 NOW()的语句是不安全么（SBL主从复制 ）

  5. 如果让你来设计开始事件类型的结构，data 部分需要什么数据

  6. binlog 与 redo log 区别

参考

  1. https://dev.mysql.com/doc/internals/en/binary-log-overview.html

  2. http://mysql.taobao.org/monthly/2018/08/01/

  3. https://zhuanlan.zhihu.com/p/33504555

小贺coding
关注
深入探索 MySQL Binlog：原理、工作机制与实践应用
击水三千里的专栏
03-26 5万+
binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。
mysql binlog 个数_mysql binlog参数设置
weixin_28347369的博客
01-19 1120
1.mysql有许多系统变量，可以设置，系统变量设置不同，不同的系统将导致执行状态。故mysql提供两组命令，分别查看系统设置和执行状态。1、系统设置：SHOW [GLOBAL | SESSION] VARIABLES [like_or_where]SHOW VARIABLES shows the values of MySQL system variables.2、执行状态：SHOW [GLOB...
MySQL二进制日志binlog的设计与实现
源码之下，了无秘密
03-09 3234
概述 MySQL为了实现数据的安全性和故障可恢复性（MySQL自身故障导致或者主机断电之类导致MySQL服务器异常退出的场景，对于主机磁盘损坏之类的故障无法恢复），对于数据的所有增删改操作在对相应的数据表进行写入之前，支持先记录到一个二进制日志中，即支持Write log ahead策略，然后在进行数据文件的写入操作。 对于事务操作，每个事务操作提交之前，也会先将事务内的修改操作记录到二进...
基于数据库Binlog记录操作日志-摸索篇
snail-jie的博客
10-16 1070
前言 本文章主要参考《我们已经不用AOP做操作日志了！》 架构设计 业务应用生成每次操作的traceid，并更新到操作的业务表中，发送1条业务消息，包含当前操作人相关的信息 1.1 因为binlog的数据反映真实数据变动，脱离业务逻辑。所以通过tracid来关联操作人信息和数据变动 日志处理应用 2.1 利用cannal采集和解析业务哭的binlog日志并投递到kafka中，解析后的记录中记录了当前操作的操作类型，如属于删除、修改、新增,和新旧值的记录，格式如下： {"data":[{"id":"
STM32通用Bootloader——FOTA
sinat_31039061的博客
05-26 1万+
1.固件升级简述 固件升级，通常称为 OTA（Over the Air）升级或者 FOTA（Firmware Over-The-Air）升级，即固件通过空中下载进行升级的技术。 1.1 bootloader 升级模式 bootloader 的升级模式常见有以下两种： bootloader 分区 + app1 分区 + app2 分区模式 该模式下， bootloader 启动后，检查 app1 和 app2 分区，哪个固件版本最新就运行哪个分区的固件。当有新版本的升级固件时，固件下载程序会将新的固件下载到
RBL, UBL, Uboot的关系
个人学习记录
09-21 2822
RBL, UBL, Uboot的关系 1）RBL=ROM Bootloader，UBL=user Bootloader。 2）RBL为TI固化在芯片ROM中的bootloader，OMAP上电启动过后首先将运行RBL，然后通过RBL加载UBL，再通过UBL加载uboot，而uboot就是用来加载Linux内核的。如果在具体应用过程中不需要使用到Linux（实际上一般都会用到的），uboot
MySQL Binlog Digger 4.8.0
12-14
MySQL Binlog Digger 4.8.0 是一个专为MySQL数据库设计的强大的日志挖掘和分析工具，尤其适用于数据恢复场景。它采用图形用户界面，使得操作更加直观易用。该工具支持在线和离线两种模式的binlog分析，能够帮助用户...
php-binlog-parser:用纯PHP实现MySQL Binlog解析器
05-11
2. **php-binlog-parser设计原理** php-binlog-parser的核心在于理解并解析Binlog事件的二进制结构。它首先读取Binlog文件的header部分，获取版本信息、位置和时间戳等元数据。接着，解析事件头，识别事件类型，如...
基于C#语言的MySQL BinLog同步库设计源码
09-29
该项目是一个基于C#语言的MySQL BinLog同步库设计源码，总计包含21个文件，涵盖6个C#源文件、3个JPEG图片文件、2个资源文件、1个图标文件、1个许可协议文件、1个动态链接库文件、1个项目文件、1个解决方案文件、1个...
18-MySql主从(原理)
my_momo_csdn的博客
01-02 554
文章目录MySql主从(原理)一、目的二、原理2.1 主从同步线程2.2 bin-log主从同步的三种形式2.3 主从架构2.4 循环复制2.5 思考三、问题和挑战3.1 主从同步延迟？1.3.1 延迟原因1.3.2 应对方法3.2 主从同步数据安全？四、并行复制4.1、并行复制策略4.1.1 按表分发4.1.2 按行分发4.2、MySql并行复制4.2.1 5.6版本4.2.2 5.7版本参考 ...
mysql探究-redolog和binlog的设计思路
frankjie的博客
05-19 672
mysql的更新流程，会牵涉到它的日志模块：redolog和binlog redolog（重做日志） redolog是Mysq的InnoDB引擎中才有的日志模块。 如果每次更改操作，都要进行一次日志磁盘写入，行数据磁盘更改，整个过程的IO就会很高，那InnoDB是怎么处理的呢？ 当更新一条数据时，InnoDB会找到要更新的行数据，把做了什么修改记录写到redolog中，并把这行数据更新到内存中，整...
mysql binlog系列（一）----binlog介绍、日志格式、数据查看等
热门推荐
Kevin.yang专栏
12-14 7万+
（一） binlog介绍binlog,即二进制日志,它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制（主从数据库的复制）。（二） binlog格式binlog有三种格式：Statement、Row以及Mixed。–基于SQL语句的复制(statement-based replication,SBR)， –基于行的复
MySQL Binlog解析
weixin_34167819的博客
11-03 706
概述 MySQL的安装可以参考：Linux(CentOS)中常用软件安装，使用及异常——MySQL, VmTools MySQL关于Binlog的官方文档：The Binary Log 基于Binlog的主备复制：MySQL主备复制原理、实现及异常处理 什么是 Binlog MySQL Server 有四种类型的日志——E...
Mysql之面试连环问：Mysql主从是如何复制的？Mysql复制模式有哪几种？他们分别有哪些区别？
chandfy的博客
01-27 1430
Mysql主从是如何复制的: Master将数据改变记录到⼆进制⽇志(binary log)中，也就是配置⽂件log-bin指定的⽂件，这些记录叫做⼆进制⽇志事件(binarylog events). Slave通过I/O线程读取Master中的binary log events并写⼊到它的中继⽇志(relay log),Slave重做中继⽇志中的事件，把中继⽇志中的事件信息⼀条⼀条 的在本地执⾏⼀次，完成数据在本地的存储，从⽽实现将改变反映到它⾃⼰的数据(数据重放),如图： 其中需要注意的是： dump过
07 Oracle数据库恢复基础解析：从检查点到归档，一步步构建数据安全防线
超哥的博客
11-09 1030
检查点是Oracle数据库中的一个特殊事件，它的作用是将内存中的数据块同步到磁盘上，以确保数据的持久性。简单来说，就是让数据库“记住”到目前为止所有的更改。Redo日志是Oracle用来记录所有数据更改的日志文件。每次对数据库进行修改时，都会先写入Redo日志，然后再写入数据文件。这样，即使系统崩溃，也能通过Redo日志恢复数据。当数据库运行在归档模式下时，一旦当前的Redo日志文件满，Oracle会将其复制到一个安全的存储位置，并标记为已归档。这样可以长期保留Redo日志，便于历史数据的恢复。
2024.11.6-Redis的事务与持久化
whisper_Java 的博客
11-06 834
MULTI、EXEC、DISCARD和WATCH 是 Redis 事务相关的命令。Redis的事务是将一系列待执行的指令存到一个Queue中，并使用exec执行事务。​--1. Redis事务是一个独立的隔离机制：事务中的所有命令都会序列化到queue、并按顺序地执行queue里的指令。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。​​multi: 用于开启事务，将待执行的命令放入到队列中exec命令:负责触发并执行事务中的所有命令：discard: 用于取消组队。
Redis - 事务
ketil27的博客
11-08 867
Redis 的事务和MySQL的事务概念上是类似的.都是把⼀系列操作绑定成⼀组.让这⼀组能够批量执 ⾏.弱化的原⼦性:redis没有"回滚机制".只能做到这些操作"批量执⾏".不能做到"⼀个失败就恢复到 初始状态".不保证⼀致性:不涉及"约束". 也没有回滚.MySQL的⼀致性体现的是运⾏事务前和运⾏后,结果都 是合理有效的,不会出现中间⾮法状态.不需要隔离性:也没有隔离级别,因为不会并发执⾏事务(redis单线程处理请求).
随堂测微信小程序ssm+论文源码调试讲解
最新发布
u014445459的博客
11-11 636
微信小程序，简称小程序，英文名Mini Program，是一种全新的连接用户与服务的方式，可以快速访问、快速传播，并具有良好的使用体验。小程序的主要开发语言是JavaScript，它与普通web的开发有很多相似之处。小程序和普通网页开发并不是相同的东西，是有差异的。网页开发的渲染线程和脚本线程是互斥的，而在小程序中，确实分开的，分别在不同的线程之中运行。
MySQL Binlog日志分析工具源码解包
资源摘要信息:"该压缩包名为'分析 mysql 的 binlog 日志的工具源码.zip'，其核心内容是一个专门用于分析MySQL数据库二进制日志（binlog）的工具源码。binlog是MySQL中一种重要的日志文件，主要用于记录数据库的所有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值