mysql binlog 事件_MySql Binlog事件数据篇

最新推荐文章于 2023-05-18 17:32:56 发布
最新推荐文章于 2023-05-18 17:32:56 发布
阅读量288 收藏
点赞数
文章标签： mysql binlog 事件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33362096/article/details/114327102
版权

系列文章

前言

前两篇文章MySql Binlog初识和MySql Binlog事件介绍篇分别从Binlog入门和Binlog事件如何产生的两个角度来介绍Binlog，本文将从Binlog事件的数据来更深入的了解Binlog。

Binlog事件数据

1.QUERY_EVENT

执行更新语句时会生成此事件，包括：create，insert，update，delete；

Fixed data part，总长度13字节：

4字节：执行sql的线程id；

4字节：执行sql的时间；

1字节：数据库名称的长度；

2字节：执行sql产生的错误码；

2字节：状态变量的长度，具体内容在Variable part；

Variable part：

可变字节：状态变量，每个状态变量key为一个字节，后面跟着value，不同的key对应不同长度的value，但是总长度在Fixed data part中已经定义；

可变字节：数据库名称

可变字节：sql语句，通过事件的总长度-header长度-Fixed data-状态变量，剩余的字节数组通过utf-8编码即可获取；

2.STOP_EVENT

当mysqld停止时生成此事件；

Fixed data part:空的

Variable part：空的

3.ROTATE_EVENT

当mysqld切换到新的binlog文件生成此事件；

Fixed data part，总长度8字节：

8字节：下一个binlog文件的第一个事件的position，这个值一直是4，因为魔数占用了4字节；

Variable data part:

可变字节：下一个binlog的名称，它的长度=事件总长度-header长度-Fixed data

4.INTVAR_EVENT

当sql语句中使用了AUTO_INCREMENT的字段或者LAST_INSERT_ID()函数；

Fixed data part：空的

Variable part：

1字节：一个变量类型的值：LAST_INSERT_ID_EVENT = 1 或者 INSERT_ID_EVENT = 2；

8字节：LAST_INSERT_ID()函数调用，或者AUTO_INCREMENT字段生成的一个无符号的整型；

5.RAND_EVENT

| bin-log.000003 | 438 | RAND | 1 | 473 | rand_seed1=223769196,rand_seed2=1013907192

执行包含RAND()函数的语句产生此事件，此事件没有被用在binlog_format为ROW模式的情况下；

Fixed data part：空的

Variable part：

8字节：第一个种子值(ex:rand_seed1=223769196)

8字节：第二个种子值(ex:rand_seed2=1013907192)

6.USER_VAR_EVENT

| bin-log.000003 | 711 | User var | 1 | 756 | @`age`=50

执行包含了用户变量的语句产生此事件，此事件没有被用在binlog_format为ROW模式的情况下；

Fixed data part：空的

Variable part：

4字节：用户变量名的大小；

可变字节：用户变量名，具体长度上一个4字节的数据指定了；

1字节：如果是变量值是NULL，那么此值是非0的；如果是此值是0，那么才有接下来的其他数据；应该是对有空值情况的一种优化；

1字节：用户变量类型，包括：(STRING_RESULT=0, REAL_RESULT=1, INT_RESULT=2, ROW_RESULT=3, DECIMAL_RESULT=4)；

4字节：用户变量字符的数量；

4字节：用户变量值的长度；

可变字节：变量的值，通过变量类型和变量值的长度，可以解析出具体的变量值；

7.FORMAT_DESCRIPTION_EVENT

| bin-log.000003 | 4 | Format_desc | 1 | 107 | Server ver: 5.5.29-log, Binlog ver: 4

描述事件，被写在每个binlog文件的开始位置，用在MySQL5.0以后的版本中，代替了START_EVENT_V3;

Fixed data part：

2字节：binlog版本，Mysql5.0以及以上的版本值为：4

50字节：Mysql Server版本；

4字节：事件创建的时间戳；

1字节：header的长度，binlog版本为4的情况下header长度是19；

可变字节：从START_EVENT_V3开始到第27个Event，每个Event的fixed part lengths，每个事件一个字节，总共27个字节；

Variable part：空的

8.XID_EVENT

| bin-log.000003 | 315 | Xid | 1 | 342 | COMMIT /* xid=32 */

事务提交产生的XID_EVENT事件；

Fixed data part：空的

Variable part：

8字节：事务编号；

9.BEGIN_LOAD_QUERY_EVENT

| bin-log.000003 | 964 | Begin_load_query | 1 | 1008 | ;file_id=3;block_len=21

执行LOAD DATA INFILE 语句时产生此事件

Fixed data part：

4字节：加载Data File的ID，防止加载的Data File内容是相同的；

Variable part：

加载数据的第一个块，如果文件大小超过某个阀值，后面会有多个APPEND_BLOCK_EVENT事件，每一个包含一个数据块；可变字节长度 = 事件的总长度 – header长度 – Fixed data；因为测试数据量比较少(999, 101, ‘zhaohui’)总共就21个字节，所以一个块足够了；

10.EXECUTE_LOAD_QUERY_EVENT

| bin-log.000003 | 1008 | Execute_load_query | 1 | 1237 | use `test`; LOAD DATA INFILE 'D:/btest.sql' INTO TABLE `btest` FIELDS TERMINATED BY ',' ENCLOSED BY '' ESCAPED BY '\\' LINES TERMINATED BY '\n' (`id`, `age`, `name`) ;file_id=3 |

执行LOAD DATA INFILE产生的事件，类似QUERY_EVENT事件，Fixed data的前13个字节和QUERY_EVENT类似；

Fixed data part：

4字节：执行sql的线程id；

4字节：执行sql的时间；

1字节：数据库名称的长度；

2字节：执行sql产生的错误码；

2字节：状态变量的长度，具体内容在Variable part；

4字节：加载Data File的ID；

4字节：文件名替换语句中的起始位置；

4字节：文件名替换语句中的结束位置；

1字节：如何处理重复数据，三个选项：LOAD_DUP_ERROR = 0, LOAD_DUP_IGNORE = 1, LOAD_DUP_REPLACE = 2

Variable part：

1.状态变量，每个状态变量key为一个字节，后面跟着value，不同的key对应不同长度的value，但是总长度在Fixed data part中已经定义；

2.sql语句，通过事件的总长度-header长度-Fixed data-状态变量，剩余的字节数组通过utf-8编码即可获取；

11.TABLE_MAP_EVENT

| bin-log.000004 | 844 | Table_map | 1 | 892 | table_id: 33 (test.btest)

将表的定义映射到一个数字，在行操作事件之前记录(包括：WRITE_ROWS_EVENT，UPDATE_ROWS_EVENT，DELETE_ROWS_EVENT)；

Fixed data part：

6字节：表Id；

2字节：保留字段为将来使用；

Variable part：

1字节：数据库名字的长度；

可变字节：数据库名字，根据前一个字节记录的名字长度，获取的字节数组通过utf-8编码即可获取；

1字节：表名的长度；

可变字节：表名，根据前一个字节记录的名字长度，获取的字节数组通过utf-8编码即可获取；

Packed integer：用来记录表中字段的数量；

注：Packed integer是一个可变字节的类型，根据数据大小字节大小不一样，

更多详细：https://dev.mysql.com/doc/internals/en/event-content-writing-conventions.html

可变字节：表字段类型数组，每个字段一个字节；

Packed integer：用来记录表元数据的长度；

可变字节：元数据块，根据前一个字节记录的名字长度，获取的字节数组通过utf-8编码即可获取；

可变字节：用位域表示每一个字段是否为null，一个字节有8位，所以N个字段需要(N+7)/8个字节；

12.WRITE_ROWS_EVENT，UPDATE_ROWS_EVENT和DELETE_ROWS_EVENT

binlog_format为ROW模式下，执行insert，update和delete操作产生的事件；

Fixed data part：

6字节：表Id；

2字节：保留字段为将来使用；

Variable part：

Packed integer：记录表中字段的数量；

可变字节：用位域表示每个字段是否被使用(比如只有更新、插入的字段才是被使用的)，N个字段需要(N+7)/8个字节；

可变字节：仅用在UPDATE_ROWS_EVENT事件中，用位域表示每个字段更新之后是否被使用(值只有真正被更新了才是被使用的)，N个字段需要(N+7)/8个字节；

接下来是记录的每一行的数据：

可变字节：当前行中的字段值是否为NULL，只有这个字段被标识为被使用，才会出现在这；

可变字节：当前行所有字段的值，只有这个字段被标识为被使用，并且值不为NULL才会有值；

13.INCIDENT_EVENT

主服务器发生了不正常的事件，通知从服务器并告知可能会导致数据处于不一致的状态；

Fixed data part：

1字节：不正常事件的编号；

1字节：消息的长度；

Variable part：

消息的内容，根据Fixed data part中指定的消息长度读取消息的内容；

14.HEARTBEAT_LOG_EVENT

主服务器告诉从服务器，主服务器还活着，不写入到日志文件中；

Fixed data part：空的

Variable part：空的

Java读取简单实例

1.创建表，并插入数据，产生binlog日志文件；

2.查看binlog中的事件；

mysql> show binlog events in 'bin-log.000001';

+----------------+-----+-------------+-----------+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |

+----------------+-----+-------------+-----------+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| bin-log.000001 | 4 | Format_desc | 1 | 107 | Server ver: 5.5.29-log, Binlog ver: 4 |

| bin-log.000001 | 107 | Query | 1 | 364 | use `test`; CREATE TABLE `btest` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`age` int(11) DEFAULT NULL,

`name` varchar(255) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

| bin-log.000001 | 364 | Query | 1 | 432 | BEGIN |

| bin-log.000001 | 432 | Query | 1 | 536 | use `test`; insert into btest values(1,100,'zhaohui') |

| bin-log.000001 | 536 | Xid | 1 | 563 | COMMIT /* xid=30 */ |

| bin-log.000001 | 563 | Stop | 1 | 582 | |

+----------------+-----+-------------+-----------+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

3.通过java代码来读取binlog日志，具体代码如下：

public class BinlogRead {

private static RandomAccessFile file;

/** 魔数的字节长度 **/

private static final int MAGIN_LEN = 4;

/** 事件header长度 **/

private static final int EVENT_HEADER_LEN = 19;

/** Query_Event fix data长度 **/

private static final int QUERY_EVENT_FIX_LEN = 13;

public static void main(String[] args) throws Exception {

file = new RandomAccessFile(new File("D://bin-log.000001"), "rw");

FileChannel channel = file.getChannel();

/** 1.魔数4字节 **/

ByteBuffer magic = ByteBuffer.allocate(MAGIN_LEN);

channel.read(magic);

/** 2.Format_desc_Event事件 **/

EventHeader header = getEventHeader(channel);

channel.position(header.getEventLen() + MAGIN_LEN);

/** 3.Query_Event事件 **/

header = getEventHeader(channel);

System.out.println(getQueryEventSql(header.getEventLen(), channel));

/** 4.Query_Event事件 **/

header = getEventHeader(channel);

System.out.println(getQueryEventSql(header.getEventLen(), channel));

/** 5.Query_Event事件 **/

header = getEventHeader(channel);

System.out.println(getQueryEventSql(header.getEventLen(), channel));

/** 6.Xid_Event事件 **/

header = getEventHeader(channel);

ByteBuffer xidNumber = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN);

channel.read(xidNumber);

xidNumber.flip();

System.out.println("xidNumber = " + xidNumber.getLong());

/** 7.Stop_Event事件 **/

header = getEventHeader(channel);

}

/**

* 获取事件Header信息

*

* @param channel

* @return

* @throws IOException

*/

private static EventHeader getEventHeader(FileChannel channel) throws IOException {

ByteBuffer formatDescEventHeader = ByteBuffer.allocate(EVENT_HEADER_LEN).order(ByteOrder.LITTLE_ENDIAN);

channel.read(formatDescEventHeader);

formatDescEventHeader.flip();

EventHeader header = new EventHeader();

header.setTimestamp(formatDescEventHeader.getInt());

header.setTypeCode(formatDescEventHeader.get());

header.setServerId(formatDescEventHeader.getInt());

header.setEventLen(formatDescEventHeader.getInt());

header.setNextPosition(formatDescEventHeader.getInt());

header.setFlags(formatDescEventHeader.getShort());

System.out.println(header.toString());

return header;

}

/**

* 获取Query Event sql语句

*

* @param queryEventLen

* @param channel

* @return

* @throws IOException

*/

private static String getQueryEventSql(int queryEventLen, FileChannel channel) throws IOException {

/** Query_Event fix data **/

ByteBuffer queryEventFix = ByteBuffer.allocate(QUERY_EVENT_FIX_LEN).order(ByteOrder.LITTLE_ENDIAN);

channel.read(queryEventFix);

queryEventFix.flip();

queryEventFix.position(11);

/** 状态变量的长度 **/

int statusLen = queryEventFix.getShort();

int queryEventValLen = queryEventLen - EVENT_HEADER_LEN - QUERY_EVENT_FIX_LEN;

ByteBuffer queryEventVal = ByteBuffer.allocate(queryEventValLen).order(ByteOrder.LITTLE_ENDIAN);

channel.read(queryEventVal);

queryEventVal.flip();

queryEventVal.position(statusLen);

/** 数据库名称 **/

queryEventVal.mark();

int length = 0;

while ('\0' != queryEventVal.get()) {

length++;

}

queryEventVal.reset();

byte dbName[] = new byte[length];

queryEventVal.get(dbName);

System.out.println("db name : " + new String(dbName, "utf-8"));

/** sql语句 **/

byte sql[] = new byte[queryEventValLen - statusLen - length - 1];

queryEventVal.get(sql);

return new String(sql, "utf-8");

}

}

public class EventHeader {

private int timestamp;

private byte typeCode;

private int serverId;

private int eventLen;

private int nextPosition;

private int flags;

@Override

public String toString() {

return "EventHeader [timestamp=" + timestamp + ", typeCode=" + typeCode + ", serverId=" + serverId

+ ", eventLen=" + eventLen + ", nextPosition=" + nextPosition + ", flags=" + flags + "]";

}

//...get/set方法省略...

}

总结

本文对事件的数据格式做了详细的介绍，因为所有事件的event header部分都是一样的，所以文中主要介绍的event data部分，event data主要包括两个部分：Fixed data part和Variable part；最后通过一个简单实例来大致了解事件数据的读取方式，后续会提供更详细的binlog事件数据读取。

编号0218
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql binlog events_MySQL binlog event 详解
weixin_39768247的博客
01-19 570
我也是只菜鸡，blog写的不对或者不严谨的地方还请大伙指出来，我及时改正，免得误人子弟。实验环境：CentOS7.3.1611 + MySQL社区版 5.7.19参考：小菜鸟DBA的微信公众号推送官方文档：3个在线工具：binlog实际上由一个个不同类型的binlog event组成，每个binlog event还包含了event header部分和event data部分(可选)。【注意：每个e...
读取mysql binlog event_MySQL binlog之log event
weixin_31787977的博客
01-26 138
MySQL binlog之log event概述binlog是mysql以二进制形式打印的日志，它默认不加密，不压缩。每个正常的binlog文件头部，有4个字节的标记，值为0xfe 0x62 0x69 0x6e。LOG_EVENT是binlog里的单位。除去头部的标记，binlog就是一个LOG_EVENT的序列。每个LOG_EVENT都独立单元，没有互相引用的关系，它也有自己的二进制头部，主要是...
MySql Binlog事件介绍篇
weixin_34363171的博客
12-08 108
前言上一篇文件MySql Binlog初识，对Binlog的参数，格式以及个别事件做了详细介绍，但是Binlog事件数量比较多，上篇文章中没有对所有事件进行介绍；本文将对Binlog的事件进行简单说明，必要的时候通过SQL触发相关的事件，以下基于Mysql5.5，5.0以前的版本不考虑。 Binlog事件1.UNKNOWN_EVENT此事...
mysql binlog 事件_MySQL Binlog事件介绍篇
weixin_36378793的博客
01-27 161
mysql> insert into btest values(997,88,'zhaohui');mysql> update btest set age=89 where id=997;mysql> delete from btest where id=997;mysql> show binlog events in 'bin-log.000004';+---------...
【MySQL（二十一）】binlog 事件
u010900754的专栏
09-07 649
binlog时机 事务提交时写入binlog，但是binlog持久化到磁盘与sync_binlog参数有关： 0：只fwrite写入操作系统cache，由操作系统决定什么时候持久化到磁盘，及fsync； 1：fsync直接写入磁盘； n：提交n个事务后fsync； 1最安全，0性能最好； binlog文件 有两种，一种是binlog的索引文件，也即xxx-bin.index，另一种是binlog文件。 索引文件：其实就是存储了当前所有binlog文件的文件名。 比如： ./mys.
【文档】四、Mysql Binlog事件含义详解
weixin_34280237的博客
10-08 93
2019独角兽企业重金招聘Python工程师标准>>> ...
mysql binlog event_mysql原理~binlog系列之~event浅谈
weixin_32703763的博客
01-19 291
一 将具体分析binlog中的常用event二 Row格式事件核心ROW_LOG_EVENT+TABLE_MAP_EVENT+GTID_EVENT三 event生效机制在binlog cache中生效,然后刷新纪录写入binlog中四 具体event 内容0 FORMAT_DESCRIPTION_EVENT1 PREVIOUS_GTIDS_LOG_EVENT2 GTID_LOG_EVENT3 ...
MYSQL查询binlog事件
Robin.Wang Tech Blog
01-19 202
show binlog events in ‘mybinlog.000050’ from 689970592 limit 100;
mysql中的binlog
最新发布
yzx3105的博客
05-18 1061
MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。（需要注意的一点是，即便update操作没有造成数据变化，也是会记入binlog。一般来说开启binlog日志大概会有1%的性能损耗。
MySQL binlog中的事件类型详解
09-10
主要介绍了MySQL binlog中的事件类型详解,介绍的非常详细，具有参考借鉴价值，需要的朋友可以参考下
mysql 事件详解_【文档】四、Mysql Binlog事件含义详解
weixin_42537919的博客
01-27 104
下面对binlog中事件做个简单说明：UNKNOWN_EVENT这个事件类型应该永远不会出现。它从不会写入binlog中。如果binlog中的事件没法被识别成其他已知事件，他被当做UNKNOWN_EVENT。START_EVENT_V3在binlog文件最开始的符号事件(在Mysql的4.0和4.1版本中，这个事件只会在服务启动时，写到第一个binlog文件中)。这个事件在3.23到4.1版本中使...
mysql binlog 事件,【文檔】七、Mysql Binlog不同事件類型的事件內容
weixin_35973657的博客
03-17 90
下面主要講述了每個類型的事件中的固定和可變部分的數據。Start_log_event_v3/START_EVENT_V3這個事件出現在v1或v3的binlog文件的開頭部分。對於4.0和4.1版本的Mysql，這個事件只是被寫在服務啟動后的第一個binlog文件中，到達一定的條件后，會產生新的日志文件，但是新的日志文件中不包含這個事件。對於所有的Mysql5.0及以上版本，每個日志文件都會以FOR...
【文档】三、Mysql Binlog事件类文件和类型
10-08 387
在内部，服务器使用C++类文件来表示binlog事件。标准在log_event.h文件中，这些类的方法代码在log_event.cc中。log_event是基础类。其他的详细的事件子类都是来源于他。一个事件的二进制序列包含头和数据两部分。类型码在每个事件的头部出现。事件可能的类型码定义在log_event_type枚举类中：enum Log_event_type { UNKNOWN_EVENT
mysql binlog 事件_【文档】五、Mysql Binlog事件结构
weixin_31608241的博客
02-01 137
这个部分描述了事件被写入binlog或者delay log中的属性。所有的事件有相同的整体结构，也就是包含事件头和事件数据：+===================+| event header |+===================+| event data |+===================+具体的内容随着Mysql版本的升级而不同，这导致了binlog格式...
mysql write rows_解析MySQL binlog --（5）ROWS_EVENT:WRITE_ROWS_EVENT、UPDATE_ROWS_EVENT、DELETE_ROWS_EVENT...
weixin_36078354的博客
01-28 677
1、介绍对于statement格式的binlog，所有增删改的SQL语句都记录在QUERY_EVENT中，而row格式的binlog则以ROWS_EVENT格式记录对数据库的修改。ROWS_EVENT分为3种：WRITE_ROWS_EVENT、UPDATE_ROWS_EVENT、DELETE_ROWS_EVENT，分别对应insert、update、delete。WRITE_ROWS_EVENT包...
mysql数据库binary log中的事件到底是什么?
weixin_33786077的博客
04-18 73
需求描述: 　　最近看mysql备份恢复的时候,基于时间点恢复,提到了binary log中存的是"事件" 　　那么到底什么是事件呢 概念解释: binary log中存的是事件(events),事件就是描述数据库变化的数据,这些数据可以是,创建表的操作,也可以是表数据的变化. 转载于:https://www.cnblogs.com/chuanzhang053/p/8873934.html...
MYSQL: mysqlbinlog读取二进制文件报错read_log_event()
weixin_34205826的博客
10-31 198
一、问题描述 mysql v 5.0.91 [root@localhost bin]# ./mysqlbinlog /tmp/mysql-bin.000015 /!40019 SET @@session.max_insert_delayed_threads=0/; /!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETIO...
从mysql中日志表查截至时间最后一条记录
hudeyong926的专栏
08-26 655
查询订单日志表截至2021年8月最后生效的一条日志记录 select order_no,max(id) max_id fromorders_logwhere time<'2021-08-01' group by order_no； 拉取所有记录 SELECT * from orders_logwhere id in( select max(id) max_id fromorders_logwhere time<'2021-08-01' group by order_no )...
NiFi实时同步MySQL binlog到Hive实践
"该文主要探讨了如何使用Apache NiFi来实时监控MySQL的binlog，并将数据同步到Hive中的应用场景。尽管由于Hive执行插入操作效率不高，这种做法并不常见，但文章仍然提供了实现这一功能的详细步骤。文章假设读者已...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值