MySQL使用binlog日志恢复数据

        Binlog日志,即binary log,是二进制日志文件,做主从复制时主节点维护一个binlog日志文件,从节点从binlog中同步数据,也可以通过binlog日志来恢复数据,属于增量备份。

一、下载binlog日志

二、命令说明 

(1)直接读取 :mysqlbinlog 文件名 >输出文件名

(2)指定数据库查询:

mysqlbinlog -d crm mysqld-bin.000001
 或者 
mysqlbinlog -database crm mysqld-bin.000001

(3)grep:根据关键字搜索

#drop关键字 
指定路径/bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012 | grep -i drop
 
#drop关键字前后各10行
指定路径/bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径/mysql_log/mysql3306_bin.000012 | grep -i  -A 10 -B 10  drop

三、恢复操作 

找到本地MySQL安装目录bin文件夹下。

 执行CMD打开,通过mysqlbinlog命令进行数据恢复

mysqlbinlog.exe  --base64-output=decode-rows -vv  mysql-bin.000471 >result.sql

具体时间段来进行数据恢复

mysqlbinlog.exe --start-datetime="2022-09-09 09:00:00" --stop-datetime="2022-09-09 11:00:00" --base64-output=decode-rows -vv  mysql-bin.000471 >result.sql

 按具体行来进行数据恢复

mysqlbinlog.exe --start-position=312 --stop-position=647 --base64-output=decode-rows -vv  mysql-bin.000471 >result.sql

  输出注释信息

mysqlbinlog.exe --start-datetime="2022-09-09 13:00:00" --stop-datetime="2022-09-09 14:00:00"  --base64-output=decode-rows -vv  mysql-bin.000472 >result.sql

四、实例演示

  • 执行命令

  •  转换后文件

SET TIMESTAMP=1662692401/*!*/;
BEGIN
/*!*/;
# at 233366329
#220909 11:00:01 server id 1729449020  end_log_pos 233366421 CRC32 0xe1123aa3 	Table_map: `ccmbase`.`mkt_black_card` mapped to number 208397920
# at 233366421
#220909 11:00:01 server id 1729449020  end_log_pos 233366518 CRC32 0x17d0eafc 	Delete_rows: table id 208397920 flags: STMT_END_F
### DELETE FROM `数据库`.`1kt_black_card`
### WHERE
###   @1=1655 /* INT meta=0 nullable=0 is_null=0 */
###   @2='1995' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###   @3=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
###   @4=NULL /* VARSTRING(60) meta=60 nullable=1 is_null=1 */
###   @5=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
###   @6=1 /* INT meta=0 nullable=1 is_null=0 */
###   @7=NULL /* VARSTRING(300) meta=300 nullable=1 is_null=1 */
###   @8=NULL /* VARSTRING(300) meta=300 nullable=1 is_null=1 */
###   @9='2021-10-21 00:00:00' /* DATETIME(0) meta=0 nullable=1 is_null=0 */
###   @10=NULL /* DATETIME(0) meta=0 nullable=1 is_null=1 */
###   @11=1 /* INT meta=0 nullable=1 is_null=0 */
###   @12=NULL /* INT meta=0 nullable=1 is_null=1 */
###   @13='1100109' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###   @14='1公司' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
# at 233366518
#220909 11:00:01 server id 1729449020  end_log_pos 233366610 CRC32 0x9ccd839a 	Table_map: `ccmbase`.`mkt_black_card` mapped to number 208397920
# at 233366610
#220909 11:00:01 server id 1729449020  end_log_pos 233366707 CRC32 0xe69a9180 	Delete_rows: table id 208397920 flags: STMT_END_F
### DELETE FROM `ccmbase`.`mkt_black_card`
### WHERE
###   @1=2167 /* INT meta=0 nullable=0 is_null=0 */
###   @2='01162683' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###   @3=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
###   @4=NULL /* VARSTRING(60) meta=60 nullable=1 is_null=1 */
###   @5=NULL /* VARSTRING(150) meta=150 nullable=1 is_null=1 */
###   @6=1 /* INT meta=0 nullable=1 is_null=0 */
###   @7=NULL /* VARSTRING(300) meta=300 nullable=1 is_null=1 */
###   @8=NULL /* VARSTRING(300) meta=300 nullable=1 is_null=1 */
###   @9='2021-10-21 00:00:00' /* DATETIME(0) meta=0 nullable=1 is_null=0 */
###   @10=NULL /* DATETIME(0) meta=0 nullable=1 is_null=1 */
###   @11=1 /* INT meta=0 nullable=1 is_null=0 */
###   @12=NULL /* INT meta=0 nullable=1 is_null=1 */
###   @13='1001209' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###   @14='12司' /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
# at 233373977
#220909 11:00:01 server id 1729449020  end_log_pos 233374008 CRC32 0xd89a841d 	Xid = 9515296014
COMMIT/*!*/;
# at 233374008
#220909 11:00:01 server id 1729449020  end_log_pos 233374073 CRC32 0x1dc58658 	GTID	last_committed=193495	sequence_number=193497	rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= '60da55b8-ebb5-11ec-809c-b4055d1bdac9:140704071'/*!*/;
# at 233374073
#220909 11:00:01 server id 1729449020  end_log_pos 233374148 CRC32 0x7830e3c4 	Query	thread_id=14140044	exec_time=0	error_code=0
SET TIMESTAMP=1662692401/*!*/;
  • 解析读取内容、
public void readSql() {
        try {
            File myFile = new File("F:\\bin\\end_000472_13_14.sql");//通过字符串创建File类型对象,指向该字符串路径下的文件

            if (myFile.isFile() && myFile.exists()) { //判断文件是否存在
                //region ---
                InputStreamReader Reader = new InputStreamReader(new FileInputStream(myFile), "utf-8");
//                    InputStreamReader Reader = new InputStreamReader(new FileInputStream(myFile), "UTF-8");
                //考虑到编码格式,new FileInputStream(myFile)文件字节输入流,以字节为单位对文件中的数据进行读取
                //new InputStreamReader(FileInputStream a, "编码类型")
                //将文件字节输入流转换为文件字符输入流并给定编码格式
                BufferedReader bufferedReader = new BufferedReader(Reader);
                //BufferedReader从字符输入流中读取文本,缓冲各个字符,从而实现字符、数组和行的高效读取。
                //通过BuffereReader包装实现高效读取
                String lineTxt = null;
                //endregion
                Boolean isBlackCard = false;
                List<表vo> blackCards = new java.util.ArrayList<>();
                表vo blackCard = new 表vo();
                while ((lineTxt = bufferedReader.readLine()) != null) {
                    //buffereReader.readLine()按行读取写成字符串
                    if (lineTxt.contains("DELETE FROM 表库")) {
                        isBlackCard = true;
                    }
                    if (isBlackCard && lineTxt.contains("###   @")) {
                        if (lineTxt.contains("###   @2=")) {
                            blackCard = new 表vo();
                            blackCard.setCardNo(lineTxt.substring(lineTxt.indexOf("###   @2='") + "###   @2='".length(), lineTxt.indexOf("' /* VARSTRING")));
                        }
                        if (lineTxt.contains("###   @13=")&&!lineTxt.contains("NULL")) {
                            String substring = lineTxt.substring(lineTxt.indexOf("###   @13='") + "###   @13='".length(), lineTxt.indexOf("' /* VARSTRING"));
                            if (StringUtils.isNotBlank(substring) && !substring.contains("NULL")) {
                                blackCard.setCreatorOuCode(substring);
                            }
                        }
                        String a14 = "###   @14=";
                        if (lineTxt.contains(a14)&&!lineTxt.contains("NULL")) {
                            String substring = lineTxt.substring(lineTxt.indexOf(a14) + a14.length(), lineTxt.indexOf("' /* VARSTRING"));
                            if (StringUtils.isNotBlank(substring) && !substring.contains("NULL")) {
                                blackCard.setCreatorOuName(substring);
                            }
                            blackCards.add(blackCard);
                        }else if(lineTxt.contains(a14)&&lineTxt.contains("NULL")){
                            blackCards.add(blackCard);
                        }
                    }
                    if (isBlackCard && lineTxt.contains("COMMIT/*!*/")) {
                        isBlackCard = false;
                    }
                    System.out.println(lineTxt);
                }
                Reader.close();
                System.out.println(JSON.objectToJson(blackCards));
            } else {
                System.out.println("找不到指定的文件");
            }
        } catch (Exception e) {

            System.out.println("读取文件内容出错");

            e.printStackTrace();
        }
    }

@Test
    public void readSql() {
        try {
            File myFile = new File("C:\\Users\\Administrator\\Desktop\\aaa.sql");//通过字符串创建File类型对象,指向该字符串路径下的文件

            if (myFile.isFile() && myFile.exists()) { //判断文件是否存在
                //region ---
                InputStreamReader Reader = new InputStreamReader(new FileInputStream(myFile), "utf-8");
//                    InputStreamReader Reader = new InputStreamReader(new FileInputStream(myFile), "UTF-8");
                //考虑到编码格式,new FileInputStream(myFile)文件字节输入流,以字节为单位对文件中的数据进行读取
                //new InputStreamReader(FileInputStream a, "编码类型")
                //将文件字节输入流转换为文件字符输入流并给定编码格式
                BufferedReader bufferedReader = new BufferedReader(Reader);
                //BufferedReader从字符输入流中读取文本,缓冲各个字符,从而实现字符、数组和行的高效读取。
                //通过BuffereReader包装实现高效读取
                String lineTxt = null;
                //endregion
                Boolean isBlackCard = false;
                List<String> blackCards = new java.util.ArrayList<>();

                while ((lineTxt = bufferedReader.readLine()) != null) {
                    //buffereReader.readLine()按行读取写成字符串
                    if (lineTxt.contains("###   @1=")) {
                        String trim1 = lineTxt.substring(lineTxt.indexOf("###   @1=") + "###   @1=".length(), lineTxt.indexOf(" /* LONGINT")).trim();
                        Optional<String> first = blackCards.stream().filter(x -> x.equals(trim1)).findFirst();
                        if (!first.isPresent()) {
//                            CouNoDelVo blackCard = new CouNoDelVo();
//                            blackCard.setCouNo(trim1);
                            blackCards.add(trim1);
                        }
                    }

                    System.out.println(lineTxt);
                }
                Reader.close();
                String s = JSONUtility.objectToJson(blackCards);
                System.out.println(JSONUtility.objectToJson(blackCards));
            } else {
                System.out.println("找不到指定的文件");
            }
        } catch (Exception e) {

            System.out.println("读取文件内容出错");

            e.printStackTrace();
        }
    }

五、binlog命令参数

-?, --help                      # 显示帮助信息并退出
--base64-output=name            # binlog输出语句的base64解码 分为三类:默认是值auto ,仅打印base64编码的需要的信息,如row-based 事件和事件的描述
                                  信息。never 仅适用于不是row-based的事件 decode-rows   配合--verbose选项一起使用解码行事件到带注释的伪SQL语句
--bind-address=name             # 绑定的IP地址
--character-sets-dir=name       # 字符集文件的目录
-d, --database=name             # 仅列出此数据库的条目(仅限本地日志)
--rewrite-db=name               # 将行事件重写为指向,以便将其应用于新数据库
-#, --debug[=#]                 # 输出debug信息,用于调试。默认值为:d:t,/tmp/mysqldump.trace
--debug-check                   # 当程序退出时打印一些调试信息
--debug-info                    # 当程序退出时打印调试信息和内存和CPU使用统计信息
--default-auth=name             # 要使用的默认身份验证客户端插件
-D, --disable-log-bin           # 禁用binlog日志,若开启--to-last-log并发送输出文件到相同的mysql server。这种方式避免无限循环。在规避数据库崩
                                  溃恢复数据的时候有用。注意:需要super权限来使用此选项
-F, --force-if-open             # 若binlog非正常关闭,强制开启binlog,默认是on可使用--skip-force-if-open关闭
-f, --force-read                # 强制读取未知的binlog事件
-H, --hexdump                   # 使用十六进制和ASCII码导出输出的信息
-h, --host=name                 # 获取binlog的服务名
-i, --idempotent                # 通知服务器使用幂等模式应用行事件
-l, --local-load=name           # 准备LOAD DATA INFILE的本地临时文件指定目录
-o, --offset=#                  # 跳过前n个条目
-p, --password[=name]           # 连接到服务器的密码
--plugin-dir=name               # 客户端插件的目录
-P, --port=#                    # 用于连接的端口,0表示默认值。端口使用的优先级:my.cnf,$ MYSQL_TCP_PORT,/etc/services,内置默认值(3306)
--protocol=name                 # 用于连接的协议(tcp, socket, pipe, memory)
-R, --read-from-remote-server   # 从MySQL服务器读取二进制日志,是read-from-remote-master = BINLOG-DUMP-NON-GTIDS的别名。
--read-from-remote-master=name  
--raw                           # 配合参数-R一起使用,输出原始的binlog数据而不是SQL语句
-r, --result-file=name          # 输出指定的文件,和--row一起使用,此时是数据文件的前缀
--secure-auth                   # 如果客户端使用旧的(4.1.1之前的)协议,则拒绝连接到服务器
--server-id=#                   # 提取给定id的服务器创建的binlog条目                
--server-id-bits=#              # 设置server-id中的有效位数
--set-charset=name              # 添加'SET NAMES character_set' 到输出
-s, --short-form                # 仅适用于常规查询,没有额外的信息和row-based事件信息。仅用于测试,不使用于生产环境。如果你想抑制
                                  base64-output,考虑使用--base64-output = never代替
-S, --socket=name               # 连接时使用的socket文件
--ssl-mode=name                 # SSL连接模式
--ssl-ca=name                   # PEM格式的CA文件
--ssl-capath=name               # CA目录
--ssl-cert=name                 # PEM格式的X509证书
--ssl-cipher=name               # 要使用的SSL密码
--ssl-key=name                  # PEM格式的X509密钥
--ssl-crl=name                  # 证书吊销列表
--ssl-crlpath=name              # 证书吊销列表路径
--tls-version=name              # 要使用的TLS版本,允许值为:tlsv1、tlsv1.1
--start-datetime=name           # binlog文件读取的起始时间点,可接受datetime和timestamp类型,格式2004-12-25 11:25:56
-j, --start-position=#          # 从N位置开始读取binlog。适用于命令行上传递的第一个binlog
--stop-datetime=name            # binlog文件读取的结束时间点
--stop-never                    # 等待来自服务器的更多数据,而不是在最后一个日志结束时停止。隐式地设置--to-last-log ,但不是在最后一个日志结
                                  束时停止而是继续等待直到服务器断开连接
--stop-never-slave-server-id=#  # 从服务器server_id使用--read-from-remote-server --stop-never。该选项不能和--connection-server-id一起使用
--connection-server-id=#        # 从服务器server_id使用--read-from-remote-server,该选项不能和--stop-never-slave-server-id一起使用
--stop-position=#               # binlog文件结束的时间点
-t, --to-last-log               # 和-r一起使用,不会在请求的binlog结尾处停止,而是继续打印,直到mysql服务器的最后一个binlog结束。如果将输出发
                                  送到同一个MySQL服务器,可能会导致无休止的循环
-u, --user=name                 # 连接到服务器用户名
-v, --verbose                   # 重新构建伪SQL语句的行信息输出,-v -v会增加列类型的注释信息
-V, --version                   # 打印版本信息
--open-files-limit=#            # 打开文件的限制,用于保留文件描述符以供此程序使用
-c, --verify-binlog-checksum    # 验证binlog的事件信息
--binlog-row-event-max-size=#   # 指定基于行的binlog的大小,改值必须是256的倍数
--skip-gtids                    # 不要保留全局事务标识符,而是让服务器像执行新事务一样执行这些事务。
--include-gtids=name            # 打印提供了全局事务标识符的事件
--exclude-gtids=name            # 打印所有事件,但提供全局事务标识符的事件除外

  • 4
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值