深更半夜,疲劳开发,半迷糊状态,在管理后台,点击了删除按钮,等反应过来,瞬间清醒了,傻了。
还是记录一下,解决过程吧,目的不是防止下次不在误删,目的是删除之后,不在熬夜恢复数据。
数据库版本:Mysql 8
开启二进制日志
前提是数据库需要开启日志,登录数据库,输入以下命令查看:
mysql> SHOW VARIABLES LIKE 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
如果返回一个结果集,其中包含Variable_name和Value两列。如果Value列的值为ON,或者显示了一个具体的二进制日志文件的路径,那么说明二进制日志已经开启。如果Value列的值为OFF,则表示二进制日志当前是关闭的。
确认日志文件
检查当前可用的日志文件列表,使用如下命令:
mysql> SHOW BINARY LOGS;
输出
+------------------+-----------+-----------+
| Log_name | File_size | Encrypted |
+------------------+-----------+-----------+
| mysql-bin.000010 | 1153036 | No |
| mysql-bin.000011 | 198938135 | No |
+------------------+-----------+-----------+
最后一个mysql-bin.000011,就是删除操作所在日志文件,也不一定,看你删除操作影响的数据多不多,影响多了,可能就垮日志文件了。
日志所在路径
看看配置文件,比如/etc/my.cnf,配置的日志路径是哪儿,
# 设置mysql数据库的数据的存放⽬录
datadir=/usr/local/mysql8/data
这样就可以确定,二进制日志文件所在具体路径
/usr/local/mysql8/data/mysql-bin.000011
确认时间
mysql-bin.000011日志文件中记录了很多操作数据库的日志,要恢复数据,最好的得有个时间范围,可以看输出的log文件去确认,也可以根据自己的记录的日志表去确认,比如我是从2024-07-26 22:21:00开始删除数据,最后删除操作是在2024-07-26 22:23:58。
裁剪二进制日志
使用mysqlbinlog工具,可以输出日志内容,在控制台查看二进制日志,我的目的是要把一个大的日志文件,根据时间裁剪成一个小的二进制日志文件,使用下面的命令:
mysqlbinlog --verbose --start-datetime='2024-07-26 22:21:00' --stop-datetime='2024-07-26 22:23:58' /usr/local/mysql8/data/mysql-bin.000011 > delete_statements.sql
mysqlbinlog --verbose 是一个命令行选项,用于使 mysqlbinlog 工具以更详细的模式运行。当使用 --verbose 选项时,mysqlbinlog 会提供更多的信息输出,包括但不限于:
- 额外的日志元数据:例如日志文件的起始和结束位置、服务器ID、校验和、事务ID等。
- 事务的开始和结束标记:这有助于跟踪事务的边界。
- SQL 语句的详细信息:如 BEGIN 和 COMMIT 语句,以及每条 SQL 语句的执行时间。
执行完成之后,裁剪的日志文件内容输出到delete_statements.sql文件中,直接可以用文本编辑器打开,搜索一下关键字DELETE FROM,看到这样的内容
'/*!*/;
### DELETE FROM `bu_tcket`.`sys_menu`
### WHERE
### @1=2023
### @2='任务修改'
### @3=2020
### @4=3
### @5='#'
### @6=''
### @7=NULL
### @8=1
### @9=0
### @10='F'
### @11='0'
### @12='0'
### @13='bali:task:edit'
### @14='#'
### @15='admin'
### @16='2022-12-03 18:35:15'
### @17=''
### @18=NULL
### @19=''
# at 241030
这就是我删除的内容,清晰看到删除的库名,表名,以及删除哪条记录。@1表示一条记录的第一个字段,@2表示一条记录的第二个字段,等号后面就是这个字段的对应的值
恢复吧,一个一个复制粘贴出来,手动拼接insert语句,再到数据库里执行一遍,这样就可以恢复之前删除的数据了,
这样操作数据量少还行,删除的数据量多了,那就很费时了,写一段python代码,自动解析文件,生成所有的insert语句,岂不美哉!
解析日志文件
提高效率,让AI帮我写一段解析日志文件的python代码,把上面的日志文件内容,提起一段出来,喂给AI,告诉它,我要干什么,AI给出的结果,执行报错,不过没关系,我手动改动一下,就行了。
def parse_delete_statements(file_path):
insert_statements = []
with open(file_path, 'r') as file:
lines = file.readlines()
# Initialize variables
delete_data = {}
inside_delete = False
# Parse the file line by line
for line in lines:
if line.startswith('### DELETE FROM `bu_tcket`.`sys_menu`'):
inside_delete = True
delete_data.clear()
if inside_delete:
if line.startswith('### WHERE'):
continue
if line.startswith('### @'):
key, value = line.strip().split('=')
delete_data[key[1:].strip()] = value.strip()
if line.startswith('# at'):
# Generate the INSERT statement when a DELETE statement ends
# Extract the table name from the first DELETE line
table_name = 'sys_menu' # Assuming the DELETE statement always targets `sys_menu` in `bu_tcket`
columns = [f"`{key}`" for key in delete_data.keys()]
values = [f"{value}" if value != 'NULL' else 'NULL' for value in delete_data.values()]
# Construct the INSERT statement
insert_statement = f"INSERT INTO `{table_name}` VALUES ({', '.join(values)});"
insert_statements.append(insert_statement)
inside_delete = False
return insert_statements
# File path where the DELETE statements are stored
file_path = '/Users/***/Downloads/delete_statements.sql'
# Call the function and print the results
insert_statements = parse_delete_statements(file_path)
for insert_statement in insert_statements:
print(insert_statement)
执行一下,生成结果:
INSERT INTO `sys_menu` VALUES (2016, '观人管理新增', 2014, 2, '#', '', NULL, 1, 0, 'F', '0', '0', 'bali:viewer:add', '#', 'admin', '2022-12-01 13:16:09', '', NULL, '');
INSERT INTO `sys_menu` VALUES (2017, '观人管理修改', 2014, 3, '#', '', NULL, 1, 0, 'F', '0', '0', 'bali:viewer:edit', '#', 'admin', '2022-12-01 13:16:10', '', NULL, '');
OK,记得,不要疲劳开发!