使用Xtrabackup对数据库进行备份，并结合binlog日志进行恢复

最新推荐文章于 2024-02-18 16:10:11 发布
最新推荐文章于 2024-02-18 16:10:11 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyt0906/article/details/107392598
版权

Xtrabackup使用方法：https://blog.csdn.net/cyt0906/article/details/107310431


实验过程：

为了达到实验效果，按照下面方式构建实验环境。

1、创建数据库test1、test2、test3、test4，然后这个时候执行完整备份，此时备份文件中有4个数据库。然后创建test5、test6，并执行flush logs 生产新的binlog日志文件。

2、创建数据库test7、test8，再次执行 flush logs 生成新的binlog日志文件。

3、最后创建数据库test9、test10、test11、test12。


构建实验环境

1、
（1）创建数据库test1、test2、test3、test4

mysql> create database test1;
Query OK, 1 row affected (0.00 sec)

mysql> create database test2;
Query OK, 1 row affected (0.00 sec)

mysql> create database test3;
Query OK, 1 row affected (0.00 sec)

mysql> create database test4;
Query OK, 1 row affected (0.00 sec)


mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| test2              |
| test3              |
| test4              |
+--------------------+
8 rows in set (0.00 sec)


mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |     1294 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

（2）执行完整备份

xtrabackup --backup --target-dir=/data/`date +%Y-%m-%d-%H-%M` --user=root --password=pwd123 --parallel=2

目录结构

[root@localhost 2020-07-14-13-52]# ll
总用量 12340
-rw-r-----. 1 root root      487 7月  14 13:52 backup-my.cnf
-rw-r-----. 1 root root      317 7月  14 13:52 ib_buffer_pool
-rw-r-----. 1 root root 12582912 7月  14 13:52 ibdata1
drwxr-x---. 2 root root     4096 7月  14 13:52 mysql
drwxr-x---. 2 root root     8192 7月  14 13:52 performance_schema
drwxr-x---. 2 root root     8192 7月  14 13:52 sys
drwxr-x---. 2 root root       20 7月  14 13:52 test1
drwxr-x---. 2 root root       20 7月  14 13:52 test2
drwxr-x---. 2 root root       20 7月  14 13:52 test3
drwxr-x---. 2 root root       20 7月  14 13:52 test4
-rw-r-----. 1 root root       21 7月  14 13:52 xtrabackup_binlog_info
-rw-r-----. 1 root root      113 7月  14 13:52 xtrabackup_checkpoints
-rw-r-----. 1 root root      513 7月  14 13:52 xtrabackup_info
-rw-r-----. 1 root root     2560 7月  14 13:52 xtrabackup_logfile

配置文件注释：
	(1) backup-my.cnf              —— 备份命令用到的配置选项信息；
	(2) ibdata1                    —— 备份的表空间文件；
	(3) xtrabackup_info            —— 备份信息的总合；
	(4) xtrabackup_binlog_info     —— mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置；
	(5) xtrabackup_logfile         —— 备份的重做日志文件。
	(6) xtrabackup_checkpoints     —— 备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN(日志序列号)范围信息；

#cat xtrabackup_info 
uuid = 272ca07a-c596-11ea-a2c7-000c29ff3ef3
name = 
tool_name = xtrabackup
tool_command = --backup --target-dir=/data/2020-07-14-13-52 --user=root --password=... --parallel=2
tool_version = 2.4.11
ibbackup_version = 2.4.11
server_version = 5.7.30-log
start_time = 2020-07-14 13:52:06
end_time = 2020-07-14 13:52:08
lock_time = 0
binlog_pos = filename 'mysql-bin.000001', position '1294'
innodb_from_lsn = 0
innodb_to_lsn = 2631227
partial = N
incremental = N
format = file
compact = N
compressed = N
encrypted = N

（3）创建test5 、6 并生成新的binlog日志

mysql> create database test5;
Query OK, 1 row affected (0.00 sec)


mysql> create database test6;
Query OK, 1 row affected (0.00 sec)


mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |     1606 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)


mysql> flush logs;
Query OK, 0 rows affected (0.00 sec)


mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

2、
（1）创建数据库test7、test8，并再次执行 flush logs

mysql> create database test7;
Query OK, 1 row affected (0.00 sec)

mysql> create database test8;
Query OK, 1 row affected (0.00 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      466 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> flush logs;
Query OK, 0 rows affected (0.00 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

3、最后创建数据库test9、test10、test11、test12。

mysql> create database test9;
Query OK, 1 row affected (0.00 sec)

mysql> create database test10;
Query OK, 1 row affected (0.01 sec)

mysql> create database test11;
Query OK, 1 row affected (0.00 sec)

mysql> create database test12;
Query OK, 1 row affected (0.00 sec)

实验环境的构建到此结束…


想象这么一个场景

在一次完整备份后，此时的binlog日志位置在 mysql-bin.000001 | 1294 (此时的binlog日志文件还没到达指定大小不会产生新的binlog日志文件)，然后数据库又写入了新的数据，此时的位置是在 mysql-bin.000001 | 1606 ，然后这个binlog文件写满了，生产了新的binlog日志文件。

此时的位置是在mysql-bin.000002 | 154，然后又写入了很多数据，生成了新的mysql-bin.000003。

此时数据库又写入了一些数据，但是mysql-bin.000003未写满。

然后突然间数据库挂掉了，如何恢复


准备备份
xtrabackup --prepare --target-dir=/data/***

完整备份恢复

1、移出binlog日志文件

mv /var/lib/mysql/mysql-bin.00000* /binlog/

可以只复制恢复需要用到的binlog日志，前提是你知道需要需要哪些。

进到备份目录,可以看到备份到了那个binlog日志文件，以及它的位置

#cat xtrabackup_binlog_info 
mysql-bin.000001	1294

2、关闭mysql

systemctl stop mysqld

3、清除datadir目录

rm -rf /var/lib/mysql/*

4、恢复完整备份

xtrabackup --copy-back --target-dir=/data/***  --parallel=2

5、授权

chown -R mysql:mysql /var/lib/mysql

6、启动mysql

systemctl start mysqld

使用binlog恢复

1、查看完整备份的时候binlog的位置信息

#cat xtrabackup_binlog_info 
mysql-bin.000001	1294

备份到1294，所以我们要从下一个开始恢复。

找到下一个位置信息

 mysqlbinlog /var/lib/mysql/mysql-bin.000001 | less

# at 1294
#200714 13:52:43 server id 1  end_log_pos 1359 CRC32 0x45f9b8f5 	Anonymous_GTID	last_committed=7	sequence_number=8	rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 1359
#200714 13:52:56 server id 1  end_log_pos 1450 CRC32 0xb86b41f8 	Query	thread_id=10	exec_time=0	error_code=0
SET TIMESTAMP=1594783238/*!*/;
create database test5
/*!*/;
# at 1450
#200714 13:53:08 server id 1  end_log_pos 1515 CRC32 0x874fbff0 	Anonymous_GTID	last_committed=8	sequence_number=9	rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;

2、恢复mysql-bin.000001 中未备份的数据

mysqlbinlog --no-defaults --start-position='1359' /binlog/mysql-bin.000002 | mysql -u root -p

从1359之后开始恢复，包含1359


3、恢复整个mysql-bin.000002

mysqlbinlog --no-defaults  /binlog/mysql-bin.000002 | mysql -u root -p

4、恢复mysql-bin.000003到指定位置

例如只恢复test9和test10

# at 219
#200714 13:54:01 server id 1  end_log_pos 316 CRC32 0xd670815c 	Query	thread_id=2	exec_time=0	error_code=0
SET TIMESTAMP=1594705981/*!*/;
SET @@session.pseudo_thread_id=2/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=8/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
create database test9
/*!*/;
# at 316
#200714 13:54:04 server id 1  end_log_pos 381 CRC32 0xefb6cd20 	Anonymous_GTID	last_committed=1	sequence_number=2	rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 381
#200714 13:54:04 server id 1  end_log_pos 481 CRC32 0x00604e4b 	Query	thread_id=2	exec_time=0	error_code=0
SET TIMESTAMP=1594705984/*!*/;
create database test10
/*!*/;
# at 481
#200714 13:53:07 server id 1  end_log_pos 546 CRC32 0xb09d971c 	Anonymous_GTID	last_committed=2	sequence_number=3	rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 546
#200714 13:53:07 server id 1  end_log_pos 646 CRC32 0x5a0dce59 	Query	thread_id=2	exec_time=0	error_code=0
SET TIMESTAMP=1594705987/*!*/;
create database test11
/*!*/;

mysqlbinlog --no-defaults --stop-position='546' /binlog/mysql-bin.000003 | mysql -u root -p

恢复到546之前的一个数据，不包含546

至此完成恢复…


使用binlog的其他恢复方法

show binlog events

命令详解:https://blog.csdn.net/weixin_44377973/article/details/107122020


生成新的binlog日志文件

mysql> FLUSH LOGS;

查看binlog日志内容

[root@localhost mysql]# mysqlbinlog --no-defaults mysql-bin.000002

基于位置的恢复

恢复到指定的地方
[root@localhost mysql]# mysqlbinlog --no-defaults --stop-position='521' mysql-bin.000002 | mysql -u root -p
#恢复到521之前的一个数据，不包含521


从指定的位置向后开始恢复
[root@localhost mysql]# mysqlbinlog --no-defaults --start-position='521' mysql-bin.000002 | mysql -u root -p #从521之后开始恢复，包含521


恢复指定范围内的数据
[root@localhost mysql]# mysqlbinlog --no-defaults --start-position='521' --stop-position='729' mysql-bin.000002  | mysql -u root -p

注释：
–no-defaults：不读取任何选项文件，其后需要直接跟日志文件或开始停止位置


基于时间点恢复

恢复到指定的时间
[root@localhost mysql]# mysqlbinlog --no-defaults --stop-datetime='2019-03-08 21:01:55' mysql-bin.000002  | mysql -u root -p


从指定的时间开始恢复
[root@localhost mysql]# mysqlbinlog --no-defaults --start-datetime='2019-03-08 21:01:53' mysql-bin.000002  | mysql -u root -p


恢复指定时间范围内的数据
[root@localhost mysql]# mysqlbinlog --no-defaults --start-datetime='2019-03-08 21:01:53' --stop-datetime='2019-03-08 21:01:55' mysql-bin.000002  | mysql -u root -p
夏目-
关注
专栏目录
模拟Xtrabackup + Binlog恢复
bjgaocp的博客
08-06 222
模拟数据 create database full charset utf8mb4; use full; create table t1 (id int); insert into t1 values(1),(2),(3); commit; 进行周日的全备 [root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp --parallel=5 /backup/full 模拟周一的数据变化 create datab..
使用开源级PXB（Percona Xtrabackup）进行数据库物理备份与恢复
11-15 1660
上节介绍的MEB工具不仅功能强大、性能佳，而且适用场景也非常广泛。但是，MEB是企业级软件，这就意味着其需要付费才能使用。对于活跃于开源社区的用户而言，单为使用MEB付费可能有点令人难以接受。那市面上是否存在可以媲美或功能接近MEB的开源软件呢？本节将对标MEB，重点介绍作为开源解决方案的PXB，为大家提供更多选择。PXB软件介绍PXB概述 PXB（Percona Xtrabackup）是一款开源的备份工具，其支持InnoDB、MyISAM、XtraDB等存储引擎数据的在线热备。其特点是备份速度快
percona-xtrabackup-数据库备份工具学习使用
xiaoma19961101的博客
08-10 8473
学习使用笔记-percona-xtrabackup 数据库备份工具 一、xtrabackup介绍 Percona XtraBackup是一款基于MySQL的服务器的开源热备份实用程序，在备份过程中不会锁定数据库。它可以备份来自MySQL5.1，5.5，5.6和5.7服务器上的InnoDB，XtraDB和MyISAM表的数据，以及带有XtraDB的Percona服务器。 Percona XtraBackup为所有版本的Percona Server，MySQL和MariaDB进行MySQL热备份。它执行流，压缩
Xtrabackup 备份恢复mysqlbinlog 差异恢复
木木的博客
03-01 352
安装 https://www.percona.com/downloads/ wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.9/binary/tarball/percona-xtrabackup-2.4.9-Linux-x86_64.tar.gz mv percona-x...
percona-xtrabackup 物理备份 + binlog
zheng__kai的博客
07-13 378
简介：它是开源免费的支持MySQL 数据库热备份的软件，它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份。它不暂停服务创建Innodb热备份；为mysql做增量备份；在mysql服务器之间做在线表迁移；使创建replication更加容易；备份mysql而不增加服务器的负载。    percona是一家老牌的mysql技术咨询公司。它不仅提供mysql的技术支持、培训、咨询，还发布了m...
Mysql物理备份Xtrabackup应用实践(学习笔记八)
weixin_33699914的博客
05-21 237
转：https://blog.csdn.net/anzhen0429/article/details/76359069 XtraBackup的全备份+XtraBackup增量备份+binlog日志进行恢复最新数据。也可以恢复误操作。 老规矩，开场白，刚开始用mysqldump，备份100G+的数据库，再加上...
mysql5.6使用xtrabackup和binlog进行完全恢复
kadwf123的专栏
06-24 2102
1、连输mysql，查看mysql版本：[mysql@mysql binlog]$ mysql -uroot -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 7 Server version: 5.6.39-log Source dis...
编写脚本令Xtrabackup对MySQL数据进行备份的教程
12-15
Xtrabackup是Percona公司开发的一款用于MySQL数据库备份的开源工具，特别适用于InnoDB存储引擎的数据备份。它采用了高效且可靠的技术来确保备份过程中的数据一致性。在备份InnoDB表时，Xtrabackup通过多个线程同时...
linux上xtrabackup全量+增量备份；binlog备份数据（全量和增量）；iptables防止nmap扫描；
lyz_yyds107的博客
07-16 811
所以是不可以的，二者缺一不可，但是如果只从崩溃恢复的角度来讲是可以的。但是的但是话在说回来binlog有着redolog无法替代的功能，binlog的主要作用是归档，redolog是循环写，写到末尾是要回到开头继续写的。...
使用Xtrabackup进行MySQL备份
07-12
总的来说，Xtrabackup是MySQL数据库备份的理想选择，特别是在大型数据库和高可用性环境中。其高效、无锁的备份机制，灵活的增量备份，以及易于集成到自动化流程中的特性，都使其成为管理MySQL数据库不可或缺的工具。
使用xtrabackup工具进行全量备份 写入部分数据，然后删掉 使用binlog进行恢复
06-09
您的问题是关于使用xtrabackup进行全量备份，写入部分数据，然后使用binlog进行恢复的方法。这是一种非常常见的MySQL数据库备份和恢复方法，以下是详细的步骤： 1. 使用xtrabackup进行全量备份 使用xtrabackup工具...
[转]Xtrabackup 的 xtrabackup_binlog_pos_innodb和xtrabackup_binlog_info 文件区别
weixin_30357231的博客
12-11 300
[转自] http://julyclyde.org/?p=403 在操作 innobackupex 的时候，执行 change master to 的时候发现 xtrabackup_binlog_pos_innodb xtrabackup_binlog_info 两个文件对应的master 的 binary log 位置不一致； 官网上的定义 xtrabackup_binlog_pos_innod...
xtrabackup实现数据备份与恢复
weixin_34258078的博客
06-13 158
转自：https://www.cnblogs.com/youkanyouxiao/p/8335173.html Xtrabackup介绍Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）；mysqldump备份方式是采用的逻辑备份，其最大的缺...
xtrabackup各种备份及备份恢复方式(包含应用binlog恢复步骤)
最新发布
wangleshisei的博客
02-18 670
【代码】xtrabackup各种备份及备份恢复方式(包含应用binlog恢复步骤)
mysqldump+binlog的备份与恢复和xtrabackup备份工具
weixin_34218890的博客
12-03 110
数据备份类型按业务划分：可分为完全备份，增量备份，差异备份。完全备份：就是对整个数据库的数据和数据结构进行备份，好处是很直观，容易被人理解。不足之处：由于每天都对系统进行完全备份，因此在备份数据中大量是重复的，这些重复数据占用空间，增加成本，备份量大，所需时间长。增量备份：就是每次备份的数据只是相当于上一次备份后增加和修改过的数据。优点：没有重复的数据，节省空间，缩短备份时间...
MySQL的XtraBackup进行备份和恢复(全备+增备+binlog)
yimenglin的博客
06-19 1433
XtraBackup的全备份+XtraBackup增量备份+binlog日志进行恢复最新数据。也可以恢复误操作。刚开始用mysqldump，备份100G+的数据库，再加上服务器繁忙，备份速度像蜗牛似的，于是寻找更高效的备份方法。Xtrabackup备份原理：物理备份，不锁表，那么怎么保证现有的数据（备份过程中有尚未提交或已经提交但未同步事务）与复制出来的数据一致呢？我们知道MySQL修改操作都会先记录在ib_logfile日志文件，再同步到磁盘，这个文件并重复使用。在复制期间会开启一个线程用来监控ib_lo
MySQL集群服务器的热备份 和 冷还原
热门推荐
诗水人间
04-13 14万+
上一篇我们用三台Ubuntu搭建了MySQL集群服务器 或docker搭建了MySQL集群服务器 解决PXC方案的MySQL数据热备份 传统的MySQL数据库备份比如 dump需要将关闭一个数据库节点，然后使用dump指令进行备份数据，这种备份方式慢，全量备份。而且需要关闭一个节点进行备份，备份后在加入集群，进行同步数据，操作复杂-------这种方式是冷备份 另外一种备份方...
Xtrabackup+mysqlbinlog完全恢复
aa5181的专栏
08-18 158
一、备份： 1、数据备份 1)做一次全备： innobackupex--defaults-file=/mysql/mysql3307/etc/my.cnf--user=backup--pass...
技术分享 | Xtrabackup 备份中 Xtrabackup_binlog_info 文件记录的 GTID 信息是否准确？
ActionTech的博客
03-09 1379
作者：何政 本文来源：原创投稿 *原创内容未经授权不得随意使用，转载请联系小编并注明来源。 Xtrabackup 是由 percona 开源的免费数据库热备份软件，它能对 InnoDB 和 XtraDB 存储引擎的数据库非阻塞地备份。 为了方便建立从库，Xtrabackup 在备份完成后会将 binlog position 与 GTID 的相关信息保存于 xtrabackup_binlog_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值