mysql decode语句_数据库 | MySQL | DML回滚工具MyFlash

最新推荐文章于 2024-01-27 12:13:55 发布
最新推荐文章于 2024-01-27 12:13:55 发布
阅读量116 收藏
点赞数
文章标签： mysql decode语句
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39743423/article/details/111698849
版权

一、简介

MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。 该工具已经在美团点评内部使用

二、详细说明

1.安装：

该工具推荐用户在下载源码之后，进行动态编译链接安装

git clone

cf9879a1caf2d8bce54b02b897e491d1.png

动态编译链接

[root@bogon ~/soft]# cd MyFlash/

gcc -w `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c -o binary/flashback

5dd2067642bc5d56566ce0dc37791859.png

解决方法：

yum install gcc glib2-devel -y

gcc -w `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c -o binary/flashback

至此,安装完成。

静态编译链接

然而用户不想每次去重新编译，可以选择使用静态链接，但是该方法需要知道glib库的版本和位置，因此对于每台机器略有不同，请谨慎使用

为了保证在一台机器上编译后，可以在其它机器上使用，需要满足以下两个条件 a) 将glib做成静态链接 b)在编译的那台机器的glibc版本(查看方法为ldd --version)要小于等于要运行该软件的那台机器glibc版本 因此需要你在一台glibc版本较低的机器上运行如下命令即可。

gcc -w -g `pkg-config --cflags glib-2.0` source/binlogParseGlib.c -o binary/flashback /usr/lib64/libglib-2.0.a -lrt

2.使用:

1.How to use

cd binary

./flashback --help

Usage:

flashback [OPTION...]

Help Options:

-?, --help Show help options

Application Options:

--databaseNames databaseName to apply. if multiple, seperate by comma(,)

--tableNames tableName to apply. if multiple, seperate by comma(,)

--start-position start position

--stop-position stop position

--start-datetime start time (format %Y-%m-%d %H:%M:%S)

--stop-datetime stop time (format %Y-%m-%d %H:%M:%S)

--sqlTypes sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,)

--maxSplitSize max file size after split, the uint is M

--binlogFileNames binlog files to process. if multiple, seperate by comma(,)

--outBinlogFileNameBase output binlog file name base

--logLevel log level, available option is debug,warning,error

--include-gtids gtids to process

--exclude-gtids gtids to skip

2.Parameter explantions

下面的这些参数是可以任意组合的。

· 1.databaseNames

指定需要回滚的数据库名。多个数据库可以用","隔开。如果不指定该参数，相当于指定了所有数据库。

· 2.tableNames

指定需要回滚的表名。多个表可以用","隔开。如果不指定该参数，相当于指定了所有表。

· 3.start-position

指定回滚开始的位置。如不指定，从文件的开始处回滚。请指定正确的有效的位置，否则无法回滚

· 4.stop-position

指定回滚结束的位置。如不指定，回滚到文件结尾。请指定正确的有效的位置，否则无法回滚

· 5.start-datetime

指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间

· 6.stop-datetime

指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间

· 7.sqlTypes

指定需要回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用","隔开。

· 8.maxSplitSize

一旦指定该参数，对文件进行固定尺寸的分割(单位为M)，过滤条件有效，但不进行回滚操作。该参数主要用来将大的binlog文件切割，防止单次应用的binlog尺寸过大，对线上造成压力

· 9.binlogFileNames

指定需要回滚的binlog文件，目前只支持单个文件，后续会增加多个文件支持

· 10.outBinlogFileNameBase

指定输出的binlog文件前缀，如不指定，则默认为binlog_output_base.flashback

· 11.logLevel

仅供开发者使用，默认级别为error级别。在生产环境中不要修改这个级别，否则输出过多

· 12.include-gtids

指定需要回滚的gtid,支持gtid的单个和范围两种形式。

· 13.exclude-gtids

指定不需要回滚的gtid，用法同include-gtids

3.example

1.回滚整个文件

./flashback --binlogFileNames=haha.000041

mysqlbinlog binlog_output_base.flashback | mysql -h -u -p

2.回滚该文件中的所有insert语句

./flashback --sqlTypes='INSERT' --binlogFileNames=haha.000041

mysqlbinlog binlog_output_base.flashback | mysql -h -u -p

3.回滚大文件

回滚

./flashback --binlogFileNames=haha.000042

切割大文件

./flashback --maxSplitSize=1 --binlogFileNames=binlog_output_base.flashback

应用

mysqlbinlog binlog_output_base.flashback.000001 | mysql -h -u -p

...

mysqlbinlog binlog_output_base.flashback. | mysql -h -u -p

三、测试

建表插入测试数据如下：

create database t2;

use t2;

create table t1 (id int primary key,name int);

insert into t1 values(1,1),(2,2),(3,3),(4,4),(5,5),(6,6),(7,7),(8,8),(9,9),(10,10);

(1)单表删除恢复测试

mysql> select * from t1;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

+------+------+

mysql> delete from t1 where id<6;

Query OK, 5 rows affected (0.00 sec)

mysql> select * from t1;

+------+------+

| id | name |

+------+------+

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

+------+------+

5 rows in set (0.00 sec)

进入binlog所在目录：

查看删除操作的位置信息

mysqlbinlog --base64-output=decode-rows -vv mysql-bin.000004|grep -C 100 delete|more

11ad4e0cf7edf72e1548d3d86dc76d3d.png

确认删除的开始和结束的位点信息后，生成flashback文件。

/root/soft/MyFlash/binary/flashback --binlogFileNames=mysql-bin.000004 --outBinlogFileNameBase=mysql-bin-000004 --tableNames=t1 --start-position=329 --stop-position=533

查看并确认即将恢复内容

mysqlbinlog --base64-output=decode-rows -vv mysql-bin-000004.flashback

恢复数据：

mysqlbinlog --skip-gtids mysql-bin-000004.flashback | mysql -uroot -p

查看恢复后数据：

mysql> select * from t1;

+----+------+

| id | name |

+----+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

+----+------+

(2)单表更新恢复测试

mysql> update t1 set name=10 where id >5;

Query OK, 4 rows affected (0.01 sec)

Rows matched: 5 Changed: 4 Warnings: 0

mysql> select * from t1;

+----+------+

| id | name |

+----+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 10 |

| 7 | 10 |

| 8 | 10 |

| 9 | 10 |

| 10 | 10 |

+----+------+

10 rows in set (0.00 sec)

进入binlog所在目录：

查看删除操作的位置信息

mysqlbinlog --base64-output=decode-rows -vv mysql-bin.000004|grep -C 100 update|more

40148b343b2de3116e3293ef460d7b8a.png

确认删除的开始和结束的位点信息后，生成flashback文件(flashback文件名不能重复)。

/root/soft/MyFlash/binary/flashback --binlogFileNames=mysql-bin.000004 --outBinlogFileNameBase=mysql-bin-000004 --tableNames=t1 --start-position=2790 --stop-position=3030

查看并确认即将恢复内容

mysqlbinlog --base64-output=decode-rows -vv mysql-bin-000004.flashback

恢复数据：

mysqlbinlog --skip-gtids mysql-bin-000004.flashback | mysql -uroot -p

查看恢复后数据：

mysql> select * from t1;

+----+------+

| id | name |

+----+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

+----+------+

(3)单表插入恢复测试

mysql> insert into t1 values(11,11);

Query OK, 1 row affected (0.01 sec)

mysql> select * from t1;

+----+------+

| id | name |

+----+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

| 11 | 11 |

+----+------+

进入binlog所在目录：

查看删除操作的位置信息

mysqlbinlog --base64-output=decode-rows -vv mysql-bin.000004|grep -C 100 'insert into t1 values(11,11)'

396a28ac3b9dba2a58d4c3035a8de9ee.png

确认删除的开始和结束的位点信息后，生成flashback文件(flashback文件名不能重复)。

/root/soft/MyFlash/binary/flashback --binlogFileNames=mysql-bin.000004 --outBinlogFileNameBase=mysql-bin-000004 --tableNames=t1 --start-position=3722 --stop-position=3893

查看并确认即将恢复内容

mysqlbinlog --base64-output=decode-rows -vv mysql-bin-000004.flashback

791cd15985b27709bc1e1b23d4b1ae99.png

恢复数据：

mysqlbinlog --skip-gtids mysql-bin-000004.flashback | mysql -uroot -p

查看恢复后数据：

mysql> select * from t1;

+----+------+

| id | name |

+----+------+

| 1 | 1 |

| 2 | 2 |

| 3 | 3 |

| 4 | 4 |

| 5 | 5 |

| 6 | 6 |

| 7 | 7 |

| 8 | 8 |

| 9 | 9 |

| 10 | 10 |

+----+------+

四、限制

1. binlog格式必须为row,且binlog_row_image=full

2. 仅支持5.6与5.7

3. 只能回滚DML(增、删、改)

参考链接：https://github.com/Meituan-Dianping/MyFlash

weixin_39743423
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql decode语句_sql的语句
weixin_39564368的博客
12-03 544
1.了解1.1. 存放数据的地方 41.2. 前台--》后台----》数据库 可以叫数据库，或数据库管理系统 41.3. 三范式 41.3.1. 1NF：最小原子 2NF：主键依赖 3NF：消除传递依赖 41.4. 创始人：拉里，埃里森 41.5. 基本单位是：用户，Oracle，是那个用户是有多少表，MySQL，这个数据库是有多少表 41.6. Oracle体系 42. 增删改 52.1. 当增...
oracle.mysql.decode()
昨日辉煌
08-16 808
举例： oracle： select decode(pay_name,'aaaa','bbb',pay_name),sum(comm_order),sum(suc_order),sum(suc_amount) From payment.order_tab group by decode(pay_name,'aaaaa','bbbb',pay_name) 转换成mysql:实...
mysql 实现decode
liangdingguo的博客
10-07 1090
实质就是用了一个case判断 SELECT (SELECT of.name FROM office of,device de WHERE of.id=de.office_id AND de.id=pd.device_id)resettle_palce, (CASE ...
mysql dml回滚_MySQL事物回滚
weixin_33617670的博客
01-27 265
#commit、rollback用来确保数据库有足够的剩余空间；#commi、rollback只能用于DML操作，即insert、update、delet;#rollback操作撤销上一个commit、rollback之后的事务。create table test(PROD_IDvarchar(10) not null,PROD_DESC varchar(25)null,COST decim...
mysql的decode函数_Mysql实现oracle decode()函数
weixin_42514709的博客
01-18 9253
今天业务上有个需求，mysql按组group_by获取数据，但过滤掉组中某字段包含某值的那些组(如status=1)数据描述需求字段 　　id　　name status1　　　　aaa　　　　02　　　　aaa　　　　03　　　　bbb　　　　04　　　　bbb　　　　15　　　　bbb　　　　36　　　　ccc　　　　07　　　　ccc　　　　3按组分，可得aaa，bbb，ccc这三...
LAB1.rar_MySQL数据库_DOS_
08-12
"about the image decode" 描述虽然简洁，但可能意味着在处理MySQL数据库的过程中涉及到了数据解码或图像处理的环节。这可能是对存储在数据库中的二进制数据（例如图像文件）进行操作的一部分，或者是数据库表中的...
[数据库] MySQL基础知识之日期判断及添加排序序号1
08-03
在MySQL中，处理日期类型的数据是数据库操作中的常见任务。日期类型主要有两种：DATE和DATETIME。DATE类型仅存储日期，格式为YYYY-MM-DD；DATETIME则包含日期和时间，格式为YYYY-MM-DD HH:MM:SS。 1. **日期的年月...
django2.2版本连接mysql数据库的方法
09-09
在使用Django 2.2版本开发Web应用时，可能会遇到与MySQL数据库集成的问题。本文将详细介绍如何在Django 2.2中正确配置和连接MySQL数据库，以及解决常见的错误。 首先，确保你已经安装了MySQL数据库服务器，并且创建...
mysql仿oracle的decode效果查询
12-15
本文将详细介绍如何在MySQL中模拟Oracle的`DECODE`函数，并探讨不同数据库系统中的查询差异。 首先，Oracle的`DECODE`函数可以理解为一个简单的条件判断表达式，它允许我们在一个查询中根据指定的条件返回不同的列...
gps.zip_GPS DECODE C++_gps USB_sky
09-24
An app that dynamically calculates sun position in the sky dome from a GPS data. GPS is a ordinary USB GPS receiver connected to PC.... Received data decode and calculated according specific algorithm.
mysql dml回滚_数据库回滚与DDL、DML
weixin_36227730的博客
01-19 611
DDL (Data Definition Language 数据定义语言)create table 创建表alter table 修改表drop table 删除表truncate table 删除表中所有行create index 创建索引drop index 删除索引当执行DDL语句时，在每一条语句前后，oracle都将提交当前的事务。如果用户使用insert命令将记录插入到数据库后，执行...
mysql decode语句_mysql--日志(8)
weixin_39900582的博客
12-24 106
1.mysql数据库服务相关的几类日志文件 1.1 错误日志error log:记录mysql服务进程mysqld在启动、关闭或运行过程中遇到的几类日志文件 1.2 查询日志query log： 1.2.1 普通查询日志 general query log:记录客户端连接信息和执行的sql语句信息 1.2.2 慢查询日志 slow query log:记录执行时间超出指定值long_query_t...
oracle/MySQL 中的decode的使用
beidaol的专栏
03-04 2522
MySQL decode()的等同实现 在Oracle中使用decode方法可以轻松实现代码和值之间的转换，但是在MySQL中该如何实现类似功能呢？ MySQL中没有直接的方法可以使用，但是我们可以通过下面两种方法来实现： 1、case when Select title,case Emergency when 1 then '紧急' else '普通' End as e...
MYSQL实现Oracle中decode函数
最新发布
lalayaoyaobb的博客
01-27 1569
expression=value2，输出reslut2，expression=value3，输出result3，理解：如果expression=value，则输出result1，否则输出result2。以此类推 若expression不等于所列出的所有value，则输出为default。理解：如果expression=value1，输出result1，写oracle脚本迁移mysql时，mysql不支持decode函数。理解decode函数使用方法及参数含义。2、使用 IF (判断的值有限)
mysql中中decode用法_MySQL 中的 DECODE 函数的实现
weixin_35067558的博客
01-18 9339
在 Oracle 中的 decode() 函数语法如下：DECODE (expr, search1, result1[, search2, result2…][, default])它用于比较参数 expr 的值，如果匹配到哪一个 search 条件，就返回对应的 result 结果，可以有多组 search 和 result 的对应关系，如果任何一个 search 条件都没有匹配到，则返回最后 ...
mysql中中decode用法,MYSQL实现ORACLE中的decode()函数
weixin_39552317的博客
03-17 3665
本人的想法是基于if(1=1,10,20)来做的，具体如下：首先表名是EMPLOYEE_TBL。其中的数据CITY中有：+--------------+| CITY |+--------------+| WHITELAND || INDIANAPOLIS || GREENWOOD || INDIANAPOLIS || INDIANAPOLIS |+-----------...
Mysql decode()函数的实现
GoodIdea
02-10 1560
Oracle数据库自带了decode()函数，函数的使用方法如下： SELECT emp.ename, emp.job, emp.sal, decode(job, 'manager', sal * 1.2, 'ANALYST', sal * 1.1, 'salesman', sal * 1.05, Sal) FROM emp; 类似于java中学过的case语句，根据不同的条件进...
decode的mysql用法_MySQL DECODE( )用法及代码示例
热门推荐
weixin_35170789的博客
01-19 1万+
MySQL DECODE()函数用于解码编码的字符串并返回原始字符串。如果编码的字符串为空字符串，则MySQL DECODE()函数将返回空字符串。DECODE()函数接受两个参数，分别是要解码的编码字符串和用于解码编码字符串的密码字符串。用法:DECODE(encoded_string, password_string);使用的参数：encoded_string –它用于指定要解码的编码字符串。...
mysql实现decode_Oracle中的DECODE()函数，MySQL中怎么实现DECODE()函数
weixin_42131342的博客
01-19 2553
decode(条件，值1，返回值1，返回值2) 对应的转换是：case when 条件 = '值1' then '返回值1' else '返回值2' end举例：oracle：selectdecode(sex,NULL,'男','女')as sex,name,age,score From student_score_tablemysql实现(转换后)：selectcase whensex=...
orecal v_lname || ',' || rec.lname
12-29
id=1 and 1=(select decode(length(user),6,dbms_pipe.receive_message('RDS',10),0) from dual)-- ``` 这个负载中的代码尝试获取数据库中用户表中用户名的长度，并将其发送到名为'RDS'的管道中。 另一个示例的SQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值