MySQL 解析binlog 统计DML、长事务与大事务分析工具之my2sql

最新推荐文章于 2024-03-20 17:32:09 发布
最新推荐文章于 2024-03-20 17:32:09 发布
阅读量4.1k 收藏 6
点赞数 4
分类专栏： github 数据库运维平台 mysql 文章标签： github golang mysql linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuhanran/article/details/107427391
版权

my2sql

简介

go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。https://github.com/liuhr/my2sql

安装

编译

git clone https://github.com/liuhr/my2sql.git
cd my2sql/
go build .

也可以直接下载Linux版编译好的可执行文件
https://github.com/liuhr/my2sql/blob/master/releases/my2sql

应用案例

生成DML统计信息，找到热点表，统计大事务信息
zabbix是常用的监控系统，其底层使用的是mysql做为数据存储，这里以zabbix库为例，查看一段时间DML信息，以及事务信息

./my2sql  -user root -password 123456  -port 3306 \
-databases testdb  -tables student \
-big-trx-row-limit 500 -long-trx-seconds 300 \
-work-type stats   -start-file mysql-bin.000045 \
-start-datetime "2020-07-18 11:40:00" --stop-datetime "2020-07-18 12:00:00" \
-output-dir tmpdir/

查看生成的分析结果

cd tmpdir
ls
biglong_trx.txt  binlog_status.txt

#DML统计信息
head -n 10 binlog_status.txt
binlog            starttime           stoptime            startpos   stoppos    inserts  updates  deletes  database        table               
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 373        30418263   192777   0        0        zabbix          history             
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 6312       30431731   0        80986    0        zabbix          item_discovery      
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:45:18 378419     30321953   0        122      0        zabbix          hosts               
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 539        30428268   437159   0        0        zabbix          history_uint        
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 254109     30431069   69       0        0        zabbix          events              
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 254563     30431311   45       22       0        zabbix          problem             
mysql-bin.025924  2020-07-16_13:44:49 2020-07-16_13:45:18 255024     30430836   0        62       0        zabbix          item_rtdata         
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:45:18 729854     30003688   22       0        0        zabbix          event_recovery      
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:45:18 763767     30161178   0        20       0        zabbix          triggers       


#事务统计信息
head -n 10 biglong_trx.txt
binlog            starttime           stoptime            startpos   stoppos    rows     duration   tables
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 297896     322782     981      0          [zabbix.history(inserts=206, updates=0, deletes=0) zabbix.history_uint(inserts=775, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 347990     372526     967      0          [zabbix.history(inserts=206, updates=0, deletes=0) zabbix.history_uint(inserts=761, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 379255     403816     968      0          [zabbix.history(inserts=139, updates=0, deletes=0) zabbix.history_uint(inserts=829, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 432562     457923     1000     0          [zabbix.history_uint(inserts=842, updates=0, deletes=0) zabbix.history(inserts=158, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 554079     579440     1000     0          [zabbix.history(inserts=119, updates=0, deletes=0) zabbix.history_uint(inserts=881, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 579505     604851     998      0          [zabbix.history(inserts=334, updates=0, deletes=0) zabbix.history_uint(inserts=664, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 604916     630277     1000     0          [zabbix.history(inserts=269, updates=0, deletes=0) zabbix.history_uint(inserts=731, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 647063     672424     1000     0          [zabbix.history(inserts=184, updates=0, deletes=0) zabbix.history_uint(inserts=816, updates=0, deletes=0)]
mysql-bin.025924  2020-07-16_13:44:50 2020-07-16_13:44:50 672489     697850     1000     0          [zabbix.history_uint(inserts=734, updates=0, deletes=0) zabbix.history(inserts=266, updates=0, deletes=0)]
总结
限制
  • 使用回滚/闪回功能时，binlog格式必须为row,且binlog_row_image=full， DML统计以及大事务分析不受影响
    只能回滚DML， 不能回滚DDL
  • 支持指定-tl时区来解释binlog中time/datetime字段的内容。开始时间-start-datetime与结束时间-stop-datetime也会使用此指定的时区， 但注意此开始与结束时间针对的是binlog event header中保存的unix timestamp。结果中的额外的datetime时间信息都是binlog event header中的unix timestamp
  • 此工具是伪装成从库拉取binlog，需要连接数据库的用户有SELECT, REPLICATION SLAVE, REPLICATION CLIENT权限
优点
  • 功能丰富，不仅支持回滚操作，还有其他实用功能。请参考之前博文
  • 基于golang实现，速度快，全量解析1.1Gbinlog只需要1分30秒左右，当前其他类似开源工具一般要几十分钟
  • github地址 https://github.com/liuhr/my2sql (好使的话别忘记给个星哦😄)

my2sql功能介绍相关博文

MySQL binlog回滚/闪回、前滚、DML统计、长事务与大事务分析
https://blog.csdn.net/liuhanran/article/details/107425016

MySQL 解析binlog生成标准SQL工具之my2sql
https://blog.csdn.net/liuhanran/article/details/107427204

MySQL闪回工具之my2sql
https://blog.csdn.net/liuhanran/article/details/107426162

liuhanran
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
这是 my2sql 插件。
08-19
binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等。
MySQL Binlog Digger 4.28 + Mysql Binlog分析 + 数据库
08-19
​ MySQL Binlog Digger是一款免费的，且基于图形界面的binlog挖掘分析工具与sql审计工具。当发生误删、误增、误改时，它可以帮助我们从binlog中快速定位到误操作的重做语句(redo sql)，同时推理出回滚语句(undo sql)。此外，它还可以结合[mysqld]的init-connect参数做mysql 8.0的数据库审计。 ​一. 对dml的挖掘分析（同时支持离线binlog） 二 . 对ddl的挖掘分析（同时支持离线binlog） 三. 对dml进行审计 四. 对ddl的审计
my2sql —— go语言版binlog解析及闪回工具
最新发布
Hehuyi_In的博客
03-20 2475
之前学习过python语言版binlog解析及闪回工具最近听同事介绍有了新的go语言版的my2sql。优点是不需要安装一大堆依赖包，直接可以安装使用，并且解析更高效，试用一下。
MySQL二进制日志(binlog)解析工具
06-30
通过binlog文件生成DML语句,回滚语句,支持日期、POS点、库、表过滤,SQL类型进行过滤
MySQL Binlog Digger 4.17.zip
11-08
最新版4.17。MySQL Binlog Digger是一个免费的，且基于图形界面的binlog挖掘分析工具。它可以为数据恢复提供有力的参考依据，它可以对在线binlog与离线binlog进行挖掘分析，在设定过滤条件后便可以进行精确过滤，从而得到我们所期望的redo sql重做语句与undo sql回滚语句，当发生误增、误删、误改dml操作时，就能快速把业务系统数据恢复至正常状态。
Mysql误操作后利用binlog2sql快速回滚的方法详解
01-19
前言 在日常工作或者学习中，操作数据库时候难免会因为“大意”而误操作，需要快速恢复的话通过备份来恢复是不太可能的，下面这篇文章主要给大家介绍关于Mysql误操作后利用binlog2sql快速回滚的方法，话不多说，来一起看看详细的介绍： 一、总体解释： DML（data manipulation language）：        它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言 DDL（data definition language）：        DDL比DML要多，主要的命令有CREATE、ALTER
MySQL binlog分析DML脚本
雪辉博客
03-14 364
#!/usr/bin/python # -*- coding: utf-8 -*- #python binlog_analyze.py binlog.000008 '2020-03-01 00:00:00' '2022-03-01 00:00:00' import os,sys binlog_name = sys.argv[1] start_datetime = sys.argv[2] stop_datetime = sys.argv[3] binlog_command = "mysqlbinlog --
【MySQL基础4】DML详解
qq_61971608的博客
10-24 2972
DML
MyBatis 操作DML语句及工具类提取
jssd的博客
08-15 410
MyBatis操作DML 配置默认事务处理 我们默认使用JDBC的事务处理模式 <transactionManager type="JDBC"/> 配置mapper中的操作 <insert id="insUser" parameterType="user"> insert into myuser(id, name, register, integral, sex)...
DML在图形界面化工具的使用
weixin_57219176的博客
07-18 194
DML在图形界面化工具的使用
统计MySQL binlog中的DML语句
Zhong Weicheng Study Notes
01-31 1450
MASTER@root@test 07:44:52>create table tab02(id int(10) primary key,name varchar(20)); Query OK, 0 rows affected (0.10 sec) MASTER@root@test 08:34:54> MASTER@root@test 08:34:54> MASTER@root@test 08:3
my2sql:解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息以及大事务分析信息
05-13
my2sqlgo版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_...
my2sql 工具 恢复数据
weixin_68243500的博客
11-27 579
该工具是 go版 MySQL binlog解析工具，通过解析 MySQL binlog ，可以生成原始SQL、mysql> flush logs;---为了方便演示，重新生成一个binlog。SQL等，也可以生成DML统计信息。， DML统计以及大事务分析不受影响。在目标 /tmp 目录下 生成。回滚，生成 删除操作的 回滚语句。查看 当前 binlog 文件。查看 日志 再次确认位点。binlog格式必须为。生成 闪回sql 文件。生成 闪回sql文件。确实生成了 回滚语句。
my2sql工具之快速入门
老叶茶馆
11-06 385
1.什么是my2sql2.如何快速部署my2sql工具3.如何使用my2sql工具3.1使用my2sql工具解析binlog文件3.2使用my2sql工具快速闪回4.遇到的问题5.使用限制6.总结1. 什么是my2sql？my2sql是go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信...
mysql256次利用_技术分享 | binlog 实用解析工具 my2sql
weixin_42510835的博客
02-18 518
作者：赵黎明爱可生 MySQL DBA 团队成员，Oracle 10g OCM，MySQL 5.7 OCP，擅长数据库性能问题诊断、事务与锁问题的分析等，负责处理客户 MySQL 及我司自研 DMP 平台日常运维中的问题，对开源数据库相关技术非常感兴趣。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。前言大部分 DBA 应该都已经熟悉并使用过一些闪回...
技术分享 | my2sql 接入 DBeaver 案例分享
ActionTech的博客
01-19 1017
作者：xuty 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 一. 大纲 本文分享下对于 my2sql 的一些改进，并且接入到 DBeaver 中供开发便捷使用的一个实际案例。 相信很多 DBA 日常都会遇到开发误删除数据（DML闪回）或者需要追溯数据变化原因（解析原始SQL）的需求，当这种需求愈发多的时候（别问为什么，说多了都是泪），就会很厌倦此类工作，因此就想着实现一套工具供开发或者实施自己使用，而不需要 DBA 接入处理。 my2sql 是个.
MYSQL-长事务和死锁
captainSCC的博客
09-02 2331
长事务及死锁
第15问：快速找到 binlog 中是否有大事务
ActionTech的博客
07-10 710
本文关键字：大事务、binlog、Linux 问题 我们并不喜欢 MySQL 中出现大事务（更新很多数据的事务），大事务往往带来很多维护的问题。 我们在维护 MySQL 时，需要关注于是否出现了较大事务，在 binlog 里找到其出现的证据。 实验 我们先创建个数据库： 这里我们启用了 GTID，对于非 GTID 的 binlog，大家也可以用类似的方法处理。 下面需要创建一些大小不同的事务，我们使用在 第11问 里使用过的手法， 反复执行， 下面我们开始研究 binlog，先解开一段看一下， ..
mysqlbinlog 查看具体的sql语句 (binlog_format=row模式)
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
09-24 3377
本文源自：mysqlbinlog 查看具体的sql语句 (binlog_format=row模式)_雅冰石的专栏-CSDN博客 当binlog_format=row时，用mysqlbinlog想查看二进制日志时需要加上-v参数。 下面分别对比下加-v前与-v后不同的效果： mysql> use dba; Reading table information for completion of table and column names You can turn off this feature
mysql binlog解析出原始sql
10-11
MySQL的binlog（二进制日志）是MySQL数据库的一种重要的日志文件，用于记录对数据库的所有修改操作。binlog记录了数据库中每一条修改语句的详细信息，包括对哪个表进行操作、操作类型（INSERT、UPDATE、DELETE等）、修改前后的数据等。 要将binlog解析出原始SQL，可以使用MySQL提供的一些工具和方法。 一种常见的方法是使用MySQL自带的工具"mysqlbinlog"。该工具可以读取和解析MySQL的binlog文件，并将其中的SQL语句转换成原始的SQL文本。使用该工具的命令行语法如下： mysqlbinlog [options] [log_file ...] 其中，[log_file]是要解析的binlog日志文件，[options]是一些可选的参数，用于控制解析的行为。解析后的原始SQL语句会输出到标准输出或指定的输出文件中。 另一种方法是使用第三方工具，例如"pydql"库。pydql是一个Python库，专门用于解析MySQL binlog，并将其转换成原始的SQL语句。通过调用相应的API和函数，可以将binlog文件解析成原始的SQL语句。使用pydql的方式如下： import pydql # 创建一个Binlog解析器对象 binlog_parser = pydql.BinlogParser() # 解析binlog文件 binlog_parser.parse_binlog_file(log_file) # 获取解析后的原始SQL语句 sql_statements = binlog_parser.get_sql_statements() 通过上述方法，可以将MySQL的binlog文件解析成原始的SQL语句，以便进行进一步的分析和处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值