MySQL binlog回滚/闪回、前滚、DML统计、长事务与大事务分析之my2sql工具

最新推荐文章于 2024-09-04 19:04:02 发布
最新推荐文章于 2024-09-04 19:04:02 发布
阅读量2.2k 收藏 3
点赞数 1
分类专栏： mysql 数据库运维平台 github 文章标签： mysql github 运维 数据库 golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuhanran/article/details/107425016
版权
my2sql是一款用Go语言编写的MySQL binlog解析工具，能生成原始SQL、回滚SQL和DML统计信息。适用于数据回滚、主从切换修复、事务分析等场景。支持json、blob等复杂数据类型的sql生成，速度快，全量解析1.1G binlog仅需1分30秒。具备丰富的参数选项，如时间点解析、线程数调整等。
摘要由CSDN通过智能技术生成

my2sql简介

go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等。

用途

  • 数据快速回滚(闪回)
  • 主从切换后新master丢数据的修复
  • 从binlog生成标准SQL，带来的衍生功能
  • 生成DML统计信息，可以找到哪些表更新的比较频繁
  • IO高TPS高， 查出哪些表在频繁更新
  • 找出某个时间点数据库是否有大事务或者长事务
  • 主从延迟，分析主库执行的SQL语句
  • 除了支持常规数据类型，对大部分工具不支持的数据类型做- 了支持，比如json、blob、text、emoji等数据类型sql生成

工具优势

  • 功能丰富，参考上文
  • 基于golang实现，速度快，全量解析1.1Gbinlog只需要1分30秒左右，当前其他类似开源工具一般要几十分钟

重要参数说明

-U

优先使用unique key作为where条件，默认false

-add-extraInfo

是否把database/table/datetime/binlogposition…信息以注释的方式加入生成的每条sql前，默认false

-big-trx-row-limit n
最低0.47元/天 解锁文章
liuhanran
关注
专栏目录
mysql利用binlog2sql批量回滚数据(快速闪回)
zld_555的博客
09-23 956
感谢mysql原生自带mysqlbinlog，但使用binlog恢复的原理是“重做”而不是“回滚”。网上相当多的文章描述mysqlbinlog用法的时候，并没有进行完整说明（先使用完整备份恢复数据库至最近备份时间点，再利用binlog恢复上次备份到现在的剩余数据）。 如果线上环境着急“回滚”，哪有时间去暂停业务,恢复备份,并学习binlog，结果很可能就是乱上加乱。因此，借助处理一起误删除的事故，...
mysql binlog 统计_对MySQL binlog日志解析，统计每张表的DML次数
weixin_30431137的博客
01-19 596
想要获取每天数据库每张表的DML的次数，统计热度表，可以使用该脚本# coding:utf-8# 解析binlog，统计热度表，表的DML个数import sysimport os# mysqlbinlog解析binlog日志def binlog_output():binlog_file = sys.argv[1]file_num = binlog_file.split('.')[1]binlog...
MySQL根据离线binlog快速“闪回”
weixin_34025051的博客
03-14 169
昨天突然有个客户说误操作，自己删除了大量数据，CTO直接将我拉到一个讨论组里，说要帮他们恢复数据。他们自己挖的坑，打算让开发那边根据业务日志去恢复，被告知只记录的删除主键这样的信息，物理删除，无能为力。 上服务器看了下记录的日志，发现好几台上面都有被误删的记录输出。阿里RDS虽然可以克隆一个恢复到删除时间点前的实例，但这散落的几万个id找...
【面试八股总结】MySQL日志：undo log、redo log、binlog
最新发布
Chesnut.
09-04 1349
MySQL中存在三种日志： undo log（回滚日志）：是 Innodb 存储引擎层生成的日志，实现了事务中的原子性，主要用于事务回滚和 MVCC。 redo log（重做日志）：是 Innodb 存储引擎层生成的日志，实现了事务中的持久性，主要用于掉电等故障恢复； binlog （归档日志）：是 Server 层生成的日志，主要用于数据备份和主从复制。
mysql基于binlog回滚工具_flashback（python版本）
dbtg45121的博客
06-20 529
update、delete的条件写错甚至没有写，导致数据操作错误，需要恢复被误操作的行记录。这种情形，其实时有发生，可以选择用备份文件+binlog来恢复到测试环境，然后再做数据修复，但是这样其实需要耗费一定的时间跟资源。 其实，如果binlog format为row，binlog文件中是会详细记录每一个事务涉及到操作，并把每一个事务影响到行记录均存储起来，能否给...
MySQL 解析binlog 统计DML、长事务与大事务分析工具之my2sql
晨夕的博客
07-18 4591
my2sql 简介 go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。https://github.com/liuhr/my2sql 安装 编译 git clone https://github.com/liuhr/my2sql.git cd my2sql/ go build . 也可以直接下载Linux版编译好的可执行文件 https://github.com/liuhr/my2sql/
Mysql误操作后利用binlog2sql快速回滚的方法详解
01-19
在日常工作或者学习中，操作数据库时候难免会因为“大意”而误操作，需要快速恢复的话通过备份来恢复是不太可能的，下面这篇文章主要给大家介绍关于Mysql误操作后利用binlog2sql快速回滚的方法，话不多说，来一起看...
mysql的数据回滚binlog2sql
2201_76119904的博客
09-14 566
它是一个用于解析二进制日志的开源工具。它具有从二进制日志中提取原始 SQL 语句的功能。它具有从二进制日志生成回滚 SQL 以进行时间点恢复的功能。
MySQL的binlog日志DML语句统计
06-30 266
for i in $(seq 39 55);do mysqlbinlog binlog.1150${i} >> binlog.sql; done cat binlog.sql | grep -i -e "^up...
统计MySQL binlog中的DML语句
Zhong Weicheng Study Notes
01-31 1482
MASTER@root@test 07:44:52>create table tab02(id int(10) primary key,name varchar(20)); Query OK, 0 rows affected (0.10 sec) MASTER@root@test 08:34:54> MASTER@root@test 08:34:54> MASTER@root@test 08:3
Mysql，使用Mysqlbinlog，解析binlog日志
Crazy_Cw的博客
07-10 7114
`Mysql`，使用`Mysqlbinlog` 解析 `binlog`日志 前言：很多时候，当我们的业务数据产生了不正常的变化，但却无法得知这类操作是在哪里进行，并且如何进行，单单从程序当面排查很费力。那么就需要通过分析数据库日志来得到历史执行 `SQL`，根据 `SQL` 执行逻辑来确认代码位置，进而确认是否是 BUG，亦或是误操作等。......
统计binlog日志中INSERT/UPDATE/DELETE 事件摘要
qq_39899313的博客
12-08 1044
工作中经常会遇到此类需求，如统计binlog中是否存大事物、对事物事件摘要进行统计（事物涉及了那些表表、事物执行时间是什么时候、是更新操作多还是删除操作多），以下awk 脚本，它将使用 mysqlbinlog 输出并从基于行的二进制日志中打印出一个漂亮的 INSERT/UPDATE/DELETE 事件摘要信息摘要脚本。 summarize_binlogs.sh脚本内容： #!/bin/bash BINLOG_FILE="/data/mysql-bin.000473" START_TIME="2021-01
MySQL，binlog2sql回滚操作测试
weixin_34072637的博客
10-26 237
Mysql 的回滚操作测试(使用工具binlog2sql)： 回滚操作：对于 delete 操作，我们从 binlog 提取出 delete 信息，反向生成 insert 回滚语句；对于 insert 操作，反向生成 delete 回滚语句；对于 update 操作，根据信息生成反向的 update 语句；Mysql的配置要开启以下选项：[mysqld]server...
mysql-bin分析_shell脚本 mysql-binlog分析
weixin_32925455的博客
02-07 341
## 一.简介介绍分析binlog工具，现有功能：1. 基于业务表分析统计各个表的dml的次数。2. 各个业务表的最后访问时间。3. 各dml总的次数。4. 该binlog的事务总数。5. 基于业务表的binlog to sql。6. 其他功能敬请期待。## 二.使用适用：centos6+语言：中文注意：请先写一个脚本来启动java等程序1.下载`git clone https://gitee.c...
mysql dml回滚_mysql binlog回滚/闪回，前滚， 分析各表DML情况， 找出长事务与大事务...
weixin_34929181的博客
01-27 309
简介binlog_inspector通过解释mysql/mariadb binlog/relaylog实现以下三大功能:1)flashback/闪回/回滚， 实现DML的回滚到任意时间或者位置。生成的SQL形式如下```sqlbeginDELETE FROM `binlog_inspector`.`emp` WHERE `id`=1# datetime=2017-10-23_00:14:28 da...
MySQL闪回工具简介 及 binlog2sql工具用法
Hehuyi_In的博客
11-08 3361
一、 简介 binlog2sql是大众点评开源的一款用于解析binlog的工具。 1. 根据文档主要用途如下： 数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能 实际主要功能有两个： 解析binlog生成执行过的SQL 生成对应的回滚SQL 2. 使用前提 MySQL server必须设置以下参数 [mysqld] ...
【MySQL】binlog_format以及binlog事务记录分析
weixin_30279315的博客
09-19 100
【MySQL】binlog_format以及binlog事务记录分析 MySQL官方对于binlog_format参数的说明： http://dev.mysql.com/doc/refman/5.5/en/binary-log-setting.html binlog_format可以动态修改，官网对于动态修改主库配置时提醒谨慎操作，会导致复...
自研 MySQL Binlog 分析程序介绍
分享既学习
07-20 711
帮研发解决问题时，有一些需要分析Binlog日志的场景，虽然不多，但是都比较重要。本篇文章介绍如何从二进制日志中发现问题。分析是否有大事务；分析是否有长期未提交的会话；分析事务的生成频次；分析表的变更频次；.........
my2sql —— go语言版binlog解析及闪回工具
Hehuyi_In的博客
03-20 3003
之前学习过python语言版binlog解析及闪回工具最近听同事介绍有了新的go语言版的my2sql。优点是不需要安装一大堆依赖包，直接可以安装使用，并且解析更高效，试用一下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值