binlog2sql 离线安装与使用

最新推荐文章于 2024-08-08 07:05:01 发布
最新推荐文章于 2024-08-08 07:05:01 发布
阅读量1.3k 收藏
点赞数
分类专栏： Mysql 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31144297/article/details/106541708
版权

安装

这里介绍 binlog2sql 的离线安装方法。

如果电脑服务器可以联网，则可以直接参考源码地址的安装方法。

源码地址： https://github.com/danfengcao/binlog2sql 

离线所需相关包如下：

argparse-1.4.0-py2.py3-none-any.whl
binlog2sql-master.zip
linecache2-1.0.0-py2.py3-none-any.whl
mysql-replication-0.9.tar.gz
PyMySQL-0.7.8-py2-none-any.whl
Python-2.7.18.tar.xz
six-1.10.0-py2.py3-none-any.whl
traceback2-1.4.0-py2.py3-none-any.whl
unittest2-1.1.0-py2.py3-none-any.whl
wheel-0.24.0-py2.py3-none-any.whl


python 下载地址：https://www.python.org/downloads/release/python-2718/
包下载地址：https://pypi.org/search/?q=python&page=2

PS：python 要用 2.6 以上的

安装准备环境

yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc libffi-devel xz unzip

解压 python 安装包并安装

tar xvf Python-2.7.18.tar.xz

cd Python-2.7.18

./configure --prefix=/usr --with-ensurepip --with-system-ffi

make && make install
检查是否安装成功

[root@test2 Python-2.7.18]# python --version
Python 2.7.18
[root@test2 Python-2.7.18]# pip --version
pip 19.2.3 from /usr/lib/python2.7/site-packages/pip (python 2.7)
[root@test2 Python-2.7.18]#

安装其他包

cd /soft

pip install *.whl mysql-replication-0.9.tar.gz

 

添加别名

alias binlog2sql='python /soft/binlog2sql-master/binlog2sql/binlog2sql.py'

检查安装是否成功

binlog2sql --help，有帮助出现则成功
usage: binlog2sql.py [-h HOST] [-u USER] [-p [PASSWORD [PASSWORD ...]]]
                     [-P PORT] [--start-file START_FILE]
                     [--start-position START_POS] [--stop-file END_FILE]
                     [--stop-position END_POS] [--start-datetime START_TIME]
                     [--stop-datetime STOP_TIME] [--stop-never] [--help]
                     [-d [DATABASES [DATABASES ...]]]
                     [-t [TABLES [TABLES ...]]] [--only-dml]
                     [--sql-type [SQL_TYPE [SQL_TYPE ...]]] [-K] [-B]
                     [--back-interval BACK_INTERVAL]

Parse MySQL binlog to SQL you want

optional arguments:
  --stop-never          Continuously parse binlog. default: stop at the latest
                        event when you start.
  --help                help information
  -K, --no-primary-key  Generate insert sql without primary key if exists
  -B, --flashback       Flashback data to start_position of start_file
  --back-interval BACK_INTERVAL
                        Sleep time between chunks of 1000 rollback sql. set it
                        to 0 if do not need sleep

connect setting:
  -h HOST, --host HOST  Host the MySQL database server located
  -u USER, --user USER  MySQL Username to log in as
  -p [PASSWORD [PASSWORD ...]], --password [PASSWORD [PASSWORD ...]]
                        MySQL Password to use
  -P PORT, --port PORT  MySQL port to use

interval filter:
  --start-file START_FILE
                        Start binlog file to be parsed
  --start-position START_POS, --start-pos START_POS
                        Start position of the --start-file
  --stop-file END_FILE, --end-file END_FILE
                        Stop binlog file to be parsed. default: '--start-file'
  --stop-position END_POS, --end-pos END_POS
                        Stop position. default: latest position of '--stop-
                        file'
  --start-datetime START_TIME
                        Start time. format %Y-%m-%d %H:%M:%S
  --stop-datetime STOP_TIME
                        Stop Time. format %Y-%m-%d %H:%M:%S;

schema filter:
  -d [DATABASES [DATABASES ...]], --databases [DATABASES [DATABASES ...]]
                        dbs you want to process
  -t [TABLES [TABLES ...]], --tables [TABLES [TABLES ...]]
                        tables you want to process

type filter:
  --only-dml            only print dml, ignore ddl
  --sql-type [SQL_TYPE [SQL_TYPE ...]]
                        Sql type you want to process, support INSERT, UPDATE,
                        DELETE.

至此安装完毕

 

但是这时可能 yum 有问题，会出现如下提示：

[root@test2 soft]# yum install openssh
There was a problem importing one of the Python modules
required to run yum. The error leading to this problem was:

   No module named yum

Please install a package which provides this module, or
verify that the module is installed correctly.

It's possible that the above module doesn't match the
current version of Python, which is:
2.7.18 (default, Apr 23 2020, 01:24:55) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-18)]

If you cannot solve this problem yourself, please go to 
the yum faq at:
  http://yum.baseurl.org/wiki/Faq

如果有此提示，则可能是因为有 2 个 python 版本的导致，处理如下：

1.查看 yum 的文件
[root@test2 soft]# whereis yum
yum: /usr/bin/yum /etc/yum /etc/yum.conf /usr/share/man/man8/yum.8.gz

2.编辑 /usr/bin/yum
将第一行的 #!/usr/bin/python 修改为 #!/usr/bin/python2.6，然后保存退出即可

如果用的 python 2.6 ，则在执行 binlog2sql 名的时候就会出现如下错误。

# binlog2sql参数
[root@dba_test_002 binlog2sql]# /usr/bin/python /soft/binlog2sql/binlog2sql/binlog2sql.py --help
  File "/opt/binlog2sql/binlog2sql/binlog2sql.py", line 73
    with temp_open(tmp_file, "w") as f_tmp, self.connection as cursor:
                                          ^
SyntaxError: invalid syntax
[root@dba_test_002 binlog2sql]# 

# 出现上述提示，请更换python版本即可，不要使用python2.6版本

 

使用

使用前必须设置的参数及权限

MySQL server必须设置以下参数:
[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

user需要的最小权限集合：
select, super/replication client, replication slave
建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
权限说明

select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
replication slave：通过BINLOG_DUMP协议获取binlog内容的权限


限制（对比mysqlbinlog）
mysql server必须开启，离线模式下不能解析
参数 binlog_row_image 必须为FULL，暂不支持MINIMAL
解析速度不如mysqlbinlog

优点（对比mysqlbinlog）
纯Python开发，安装与使用都很简单
自带flashback、no-primary-key解析模式，无需再装补丁
flashback模式下，更适合闪回实战
解析为标准SQL，方便理解、筛选
代码容易改造，可以支持更多个性化解析

更详细的介绍可参考源码地址

建立表，如下：


mysql> show create table t;
+-------+----------------------------------------------------------------------------------------+
| Table | Create Table                                                                           |
+-------+----------------------------------------------------------------------------------------+
| t     | CREATE TABLE `t` (
  `id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 |
+-------+----------------------------------------------------------------------------------------+


mysql> select * from t;
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
|    4 |
+------+
4 rows in set (0.00 sec)

模拟误删除操作

mysql> delete from t;
Query OK, 4 rows affected (0.01 sec)

查看当前日志并解析

mysql> show master status;
+------------+----------+--------------+------------------+-------------------------------------------+
| File       | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                         |
+------------+----------+--------------+------------------+-------------------------------------------+
| bin.000006 |     1379 |              |                  | ea27a55f-84b9-11ea-8c48-000c29dbfcd1:1-13 |
+------------+----------+--------------+------------------+-------------------------------------------+
1 row in set (0.00 sec)


mysql> mysql> show binlog events in 'bin.000006';
+------------+------+----------------+------------+-------------+--------------------------------------------------------------------+
| Log_name   | Pos  | Event_type     | Server_id  | End_log_pos | Info                                                               |
+------------+------+----------------+------------+-------------+--------------------------------------------------------------------+
| bin.000006 |    4 | Format_desc    | 1921686526 |         123 | Server ver: 5.7.26-log, Binlog ver: 4                              |
| bin.000006 |  123 | Previous_gtids | 1921686526 |         194 | ea27a55f-84b9-11ea-8c48-000c29dbfcd1:1-9                           |
| bin.000006 |  194 | Gtid           | 1921686526 |         259 | SET @@SESSION.GTID_NEXT= 'ea27a55f-84b9-11ea-8c48-000c29dbfcd1:10' |
| bin.000006 |  259 | Query          | 1921686526 |         329 | BEGIN                                                              |
| bin.000006 |  329 | Rows_query     | 1921686526 |         376 | # insert into t values(2)                                          |
| bin.000006 |  376 | Table_map      | 1921686526 |         418 | table_id: 108 (ty.t)                                               |
| bin.000006 |  418 | Write_rows     | 1921686526 |         458 | table_id: 108 flags: STMT_END_F                                    |
| bin.000006 |  458 | Xid            | 1921686526 |         489 | COMMIT /* xid=11 */                                                |
| bin.000006 |  489 | Gtid           | 1921686526 |         554 | SET @@SESSION.GTID_NEXT= 'ea27a55f-84b9-11ea-8c48-000c29dbfcd1:11' |
| bin.000006 |  554 | Query          | 1921686526 |         624 | BEGIN                                                              |
| bin.000006 |  624 | Rows_query     | 1921686526 |         671 | # insert into t values(3)                                          |
| bin.000006 |  671 | Table_map      | 1921686526 |         713 | table_id: 108 (ty.t)                                               |
| bin.000006 |  713 | Write_rows     | 1921686526 |         753 | table_id: 108 flags: STMT_END_F                                    |
| bin.000006 |  753 | Xid            | 1921686526 |         784 | COMMIT /* xid=15 */                                                |
| bin.000006 |  784 | Gtid           | 1921686526 |         849 | SET @@SESSION.GTID_NEXT= 'ea27a55f-84b9-11ea-8c48-000c29dbfcd1:12' |
| bin.000006 |  849 | Query          | 1921686526 |         919 | BEGIN                                                              |
| bin.000006 |  919 | Rows_query     | 1921686526 |         966 | # insert into t values(4)                                          |
| bin.000006 |  966 | Table_map      | 1921686526 |        1008 | table_id: 108 (ty.t)                                               |
| bin.000006 | 1008 | Write_rows     | 1921686526 |        1048 | table_id: 108 flags: STMT_END_F                                    |
| bin.000006 | 1048 | Xid            | 1921686526 |        1079 | COMMIT /* xid=16 */                                                |
| bin.000006 | 1079 | Gtid           | 1921686526 |        1144 | SET @@SESSION.GTID_NEXT= 'ea27a55f-84b9-11ea-8c48-000c29dbfcd1:13' |
| bin.000006 | 1144 | Query          | 1921686526 |        1214 | BEGIN                                                              |
| bin.000006 | 1214 | Rows_query     | 1921686526 |        1251 | # delete from t                                                    |
| bin.000006 | 1251 | Table_map      | 1921686526 |        1293 | table_id: 108 (ty.t)                                               |
| bin.000006 | 1293 | Delete_rows    | 1921686526 |        1348 | table_id: 108 flags: STMT_END_F                                    |
| bin.000006 | 1348 | Xid            | 1921686526 |        1379 | COMMIT /* xid=20 */                                                |
+------------+------+----------------+------------+-------------+--------------------------------------------------------------------+


直接用 mysqlbinlog 查看
mysqlbinlog --base64-output=DECODE-ROWS -vv bin.000006

# at 1144
#200423  3:58:52 server id 1921686526  end_log_pos 1214 CRC32 0x2864bad1 	Query	thread_id=2	exec_time=0	error_code=0
SET TIMESTAMP=1587585532/*!*/;
BEGIN
/*!*/;
# at 1214
#200423  3:58:52 server id 1921686526  end_log_pos 1251 CRC32 0x70480eb2 	Rows_query
# delete from t
# at 1251
#200423  3:58:52 server id 1921686526  end_log_pos 1293 CRC32 0xf7c3b49a 	Table_map: `ty`.`t` mapped to number 108
# at 1293
#200423  3:58:52 server id 1921686526  end_log_pos 1348 CRC32 0x33eeabf3 	Delete_rows: table id 108 flags: STMT_END_F
### DELETE FROM `ty`.`t`
### WHERE
###   @1=1 /* INT meta=0 nullable=1 is_null=0 */
### DELETE FROM `ty`.`t`
### WHERE
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
### DELETE FROM `ty`.`t`
### WHERE
###   @1=3 /* INT meta=0 nullable=1 is_null=0 */
### DELETE FROM `ty`.`t`
### WHERE
###   @1=4 /* INT meta=0 nullable=1 is_null=0 */
# at 1348
#200423  3:58:52 server id 1921686526  end_log_pos 1379 CRC32 0xcfaf7edc 	Xid = 20
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;




可以看到删除语句的点位是在 1144 ~ 1379

利用 binlog2sql 解析出误操作 sql

[root@test2 ~]# binlog2sql -h192.168.65.2 -P3306 -uroot -p123  -dty -tt --start-file='bin.000006' --start-position=1144 --stop-position=1379
DELETE FROM `ty`.`t` WHERE `id`=1 LIMIT 1; #start 1144 end 1348 time 2020-04-23 03:58:52
DELETE FROM `ty`.`t` WHERE `id`=2 LIMIT 1; #start 1144 end 1348 time 2020-04-23 03:58:52
DELETE FROM `ty`.`t` WHERE `id`=3 LIMIT 1; #start 1144 end 1348 time 2020-04-23 03:58:52
DELETE FROM `ty`.`t` WHERE `id`=4 LIMIT 1; #start 1144 end 1348 time 2020-04-23 03:58:52

这里得到的就是删除数据的语句

解析出恢复语句（-B 参数）

[root@test2 ~]# binlog2sql -h192.168.65.2 -P3306 -uroot -p123  -dty -tt --start-file='bin.000006' --start-position=1144 --stop-position=1379 -B
INSERT INTO `ty`.`t`(`id`) VALUES (4); #start 1144 end 1348 time 2020-04-23 03:58:52
INSERT INTO `ty`.`t`(`id`) VALUES (3); #start 1144 end 1348 time 2020-04-23 03:58:52
INSERT INTO `ty`.`t`(`id`) VALUES (2); #start 1144 end 1348 time 2020-04-23 03:58:52
INSERT INTO `ty`.`t`(`id`) VALUES (1); #start 1144 end 1348 time 2020-04-23 03:58:52

可直接输出道文件，然后在 mysql 执行即可。

也可以根据时间点来，例句：

binlog2sql -h127.0.0.1 -P3306 -uroot -p123  -dty -tt --start-file='bin.000006' --start-datetime='2020-05-23 15:35:59' --stop-datetime='2020-05-23 16:09:59'  -B

其他参数可参考帮助文档

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ty_FFTQ
关注
专栏目录
mysqlbinlog工具_超详细的MySQL Binlog解析工具--Binlog2sql离线安装教程
weixin_39534002的博客
12-05 2375
概述binlog2sql是一个开源的Python开发的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，以便做数据恢复。gihub:https://github.com/danfengcao/binlog2sql如果是在外网一条命令就安装好binlog2sql了，但是很多时候我们生产环境是没有外网的，如果是在内网环境应该如何安装binl...
binlog2sql 离线包+python扩展包
03-10
离线包+python扩展包
binlog2sql：MySQL二进制日志解析利器
最新发布
gitblog_00507的博客
08-08 835
binlog2sql：MySQL二进制日志解析利器 binlog2sqlParse MySQL binlog to SQL you want项目地址:https://gitcode.com/gh_mirrors/bi/binlog2sql 1. 项目介绍 binlog2sql 是由MySQL领域的知名专家Danfengcao开发的一款Python编写的工具，用于解析MySQL的二进制日志（bin...
binlog2sql安装
weixin_34327761的博客
05-22 553
3、pip安装 3.1 首先安装setuptools软件包： (1)下载setuptools包 wget https://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz (2)解压setuptools包 tar zxvf setuptools-2.0.tar.gzcd setuptools-2.0 ...
binlog2sql
01-08
mysql闪回工具，误删数据回滚使用，使用方法见个人博客
binlog2sql离线
07-13
使用binlog2sql离线可以实现一些重要的功能。首先，可以恢复误删数据。当我们误删了一些重要的数据时，通过binlog2sql工具可以还原出删除数据的SQL语句，然后再执行这些SQL语句，就能够将数据恢复回来。其次，可以...
mysqlbinlog和binlog2sql的使用及mysql通过binlog日志恢复数据库数据
08-04
mysqlbinlog和binlog2sql的使用及mysql通过binlog日志恢复数据库数据
利用binlog还原sql或者恢复数据python工具
04-27
1. **安装binlog2sql**: 首先，你需要从源码或软件仓库获取binlog2sql，使用Python的pip工具进行安装： ``` pip install git+https://github.com/xiaoyuezhi/binlog2sql.git ``` 2. **配置连接**: 设置binlog2...
binlog2sql requirements.txt安装包
12-28
将binlog2sql目录中的requirements.txt文件pip安装包到packages目录，可根据包离线安装binlog2sql
mysql闪回工具binlog2sql安装配置教程详解
12-14
概述 binlog2sql是一个Python开发开源的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，去除主键的INSERT SQL，是DBA和运维人员数据恢复好帮手。 一、安装配置 1.1 用途 数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能 支持MySQL5.6，5.7 1.2 安装 shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql she
binlog2sql-master.zip
11-20
类似Oracle的闪回功能。 可以让mysql方便地恢复数据。 原理：既然binlog以event形式记录了所有的变更信息，那么我们把需要回滚的event，从后往前回滚回去即可。 亲测可用。
pyquery-1.4.0-py2.py3-none-any.whl
05-12
pyquery-1.4.0
argparse-1.4.0-py2.py3-none-any.whl
04-05
argparse库
centos7.9从0开始安装binlog2sql
weixin_53114474的博客
01-20 1526
linux自带的python为2.7.5 使用前提 1. mysql的binlog_format为ROW 需要开启mysql的log-bin 2、在离线环境下，可手动安装这些包。 目前，这些包由某位大佬打包好，并上传到百度云盘中，大家可自行下载。 http://pan.baidu.com/s/1qYQ2PPy 注意：包里的pymysql版本过低，请使用pymysql0.9.3版本 安装教程： 解压所有包 # tar xvf binlog2sql.tar.gz 安装setu...
MySQL数据恢复之binlog2sql的安装和使用，很详细
studio_1的博客
12-12 2327
使用 binlog2sql 要求 日志是打开的 ON ，并且 binlog_format 要为 ROW 类型，如果不满足，则不能使用 binlog2sql 恢复数据，后面就不用看了。是MySQL二进制日志的一个系统变量，它定义了二进制日志的格式。binlog_format 可以设置为如下值：STATEMENT：在这个模式下，二进制日志记录的是SQL语句本身，而不是数据的更改。这种格式是最简单的，但可能存在一些限制和问题，比如对于同一个表的多个更新操作，可能会产生重复的日志记录。
MySQL--binlog2sql 安装及使用
zll4859291的博客
03-22 537
INSERT INTO `test`.`tt8`(`id`, `id_tye`, `zdr_id`, `zdr_name`, `zt_name`) VALUES (30, 'OUT', '辽宁KK服务有限公司', 'SYSADMIN', 'sysadmin');--stop-position/--end-pos 终止解析位置。--stop-file/--end-file 终止解析文件。--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。
如何利用binlog还原sql或者恢复数据
赞的心路历程
09-09 970
pip install --upgrade pip github:https://github.com/danfengcao/binlog2sql gitee:https://gitee.com/ShiZan/binlog2sql 该方法应用到的工具binlog2sql，需要安装python运行环境 1.安装pip命令 ①、如果没有epel源下载阿里的epel源 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/r..
MySQL数据库Binlog解析工具--binlog2sql
淡定波的博客
07-17 6739
概述 作为DBA，binlog2sql是一项必须掌握的工具。binlog2sql是一个开源的Python开发的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，以便做数据恢复。 gihub:https://github.com/danfengcao/binlog2sql 一、闪回原理简析 开始之前，先说说闪回。我们都知道 MySQL binlog 以 event 为单位，记录数据库的变更信息，这些信息能够帮助我们重现这之间的所有变化，也就是所谓
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ty_FFTQ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值