前言
数据备份的重要性
- 在生产环境中,数据的安全性至关重要
- 任何数据的丢失都可能产生严重的后果
- 造成数据丢失的原因
- 程序错误
- 人为操作错误
- 运算错误
- 磁盘故障
- 灾难(如火灾,地震)和盗窃
一、数据库备份的分类
1.1、从物理与逻辑的角度,备份可分为
1、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份
物理备份方法
冷备份(脱机备份):是在关闭数据库的时候进行的
热备份(联机备份):数据库处于运行状态,依赖于数据库的日志文件
温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作
2、逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份
1.2、从数据库的备份策略角度,备份可分为
1、完全备份:每次对数据库进行完整的备份
2、差异备份:备份自从上次完全备份之后被修改过的文件
3、增量备份:只有在上次完全备份或者增量备份后被修改的文件才会被备份
二、MySQL完全备份与恢复
2.1、常见的备份方法
物理冷备
备份时数据库处于关闭状态,直接打包数据库文件
备份速度快,恢复时也是最简单的
专业备份工具mysqldump或mysqlhotcopy
mysqldump常用的逻辑备份工具
mysqlhotcopy仅拥有备份MyISAM和ARCHIVE表
启用二进制日志进行增量备份
进行增量备份,需要刷新二进制日志
第三方工具备份
免费的MySQL热备份软件Percona XtraBackup
2.2、MySQL完全备份简介
- 是对整个数据库、数据库结构和文件结构的备份
- 保存的是备份完成时刻的数据库
- 是差异备份与增量备份的基础
- 每次对数据进行完整的备份,完全备份是增量备份的基础,完全备份保存的是备份完成时刻的数据库
- 优点:
备份与恢复操作简单方便 - 缺点
数据存在大量的重复
占用大量的备份空间
备份与恢复时间长
2.3、数据库完全备份分类
1、物理冷备份与恢复
- 关闭MySQL数据库
- 使用tar命令直接打包数据库文件夹
- 直接替换现有MySQL目录即可
2、mysqldump备份与恢复
- MySQL自带的备份工具,可方便实现对MySQL的备份
- 可以将指定的库、表导出为SQL脚本(.sql结尾)
- 使用命令MySQL导入备份的数据
2.4、物理冷备份与恢复步骤
1、在MySQL中先创建abc库,再创建aa表,写入一行记录(用于验证)
2、先关闭数据库服务,再打包备份
[root@server1 ~]# systemctl stop mysqld
[root@server1 ~]# mkdir /backup
[root@server1 ~]# tar zcvf /backup/mysql_all-$(date +%F).tar.gz /usr/local/mysql/data/
[root@server1 ~]# cd /backup
[root@server1 backup]# ls -lh
总用量 1.4M
-rw-r--r-- 1 root root 1.4M 12月 24 15:49 mysql_all-2020-12-24.tar.gz
再进入mysql数据库中将abc库删除,用于破坏性实验验证。
3、将原来的数据移走到备份文件夹中,解压刚才备份的tar包到/restore目录下,再移动到mysql服务的文件夹中
[root@server1 ~]# mkdir bak
[root@server1 ~]# mv /usr/local/mysql/data/ /bak #将数据库的文件移动至/bak文件夹中
[root@server1 ~]# mkdir restore
[root@server1 ~]# tar zxvf /backup/mysql_all-2020-12-24.tar.gz -C restore/
-C 选项的作用是:指定需要解压到的目录。
[root@server1 ~]# mv restore/usr/local/mysql/data/ /usr/local/mysql/ #将之前备份的文件移动至mysql服务的文件夹中
4、重启mysql服务,登录mysql,查看数据是否恢复
[root@server1 ~]# systemctl restart mysqld
2.5、mysqldump(热备份)备份数据库
备份数据库
2.5.1 mysqldump命令对单个库进行完全备份
格式:
mysqldump -u 用户名 -p 【密码】【选项】【数据库名】 > /备份路径/备份文件名
用法示例:
mysqldump -u root -p auth > /backup/auth-$(data +%F).sql #date +%F显示当前日期
mysqldump -u root -p mysql > /backup/mysql.sql
2.5.2 mysqldump命令对多个库进行完全备份
格式:
mysqldump -u 用户名 -p 【密码】【选项】--databases 库名1 【库名2】... > /备份路径/备份文件名
用法示例:
mysqldump -u root -p --databases auth mysql > /backup/databases-auth-mysql.sql #备份auth和mysql库
2.5.3 对所有库进行完全备份
格式:
mysqldump -u 用户名 -p 【密码】【选项】--all-databses > /备份路径/备份文件名
用法示例:
mysqldump -u root -p --all-databses > /backup/all-databses-$(date +%F).sql
恢复数据库
使用mysqldump导出的脚本,可使用导入的方法
- source命令
- mysql命令
使用source恢复数据库的步骤
- 登录到MySQL数据库
- 执行source 备份sql脚本的路径
source 恢复的示例
- MySQL [(none)] > source /backup/all-data.sql
2.5.4 使用source命令恢复数据
[root@server1 ~]# mysqldump -uroot -pabc123 abc > /backup/abc-$(date +%F).sql
mysql> drop database abc;
mysql> create database abc2; #建立空库
mysql> use abc2;
mysql> source /backup/abc-2020-12-24.sql;
案例结果
2.5.5 使用mysql命令恢复数据
mysql -u 用户名 -p【密码】< 库备份脚本的路径
mysql 命令恢复的示例
mysql -uroot -p < /backup/all-data.sql
[root@server1 ~]# mysqldump -uroot -pabc123 aaa > /backup/aaa-$(date +%F).sql
mysql> drop database aaa;
mysql> create database aaa2; ###建立空库
[root@server1 ~]# mysql -uroot -pabc123 aaa2 < /backup/aaa-2020-12-24.sql
案例结果
注∶ 备份库里的某张表时,应该针对这张坏的表删除,使用原来数据库,重新source备份的sql可以实现。
2.6 恢复表的操作
- 恢复表时同样可以使用source或者mysql命令
- source恢复表的操作与恢复库的操作相同
- 当备份文件中只包含表的备份,而不包括创建库的语句时,必须指定库名,且目标库必须存在
mysql -u 用户名-p 【密码】 < 表备份脚本的路径
mysql -uroot -p mysql < /backup/mysql-user.sql
- 在生产环境中,可以使用Shell脚本自动实现定时备份
三、MySQL增量备份与恢复
MySQL的日志文件记录了详细的操作过程,千万不能随便删
3.1、MySQL增量备份
-
使用mysqldump进行完全备份存在的问题
备份数据中有重复数据
备份时间与恢复时间过长 -
MySQL增量备份是自上一次备份后增加/变化的文件或者内容
-
特点
没有重复数据,备份量不大,时间短
恢复需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且要对所有增量备份进行逐个反推恢复 -
MySQL没有提供直接的增量备份方法
可通过MySQL提供的二进制日志间接实现增量备份 -
MySQL二进制日志对备份的意义
(1)二进制日志保存了所有更新或者可能更新数据库的操作;
(2)二进制日志在启动MySQL服务器后开始记录,并在文件达到max_binlog_size所设置的大小或者接收到flush logs命令后重新创建新的日志文件;
(3)只需定时执行flush logs方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。
3.2、MySQL数据库增量恢复
1、一般恢复
- 将所有备份的二进制日志内容全部恢复
2、断点恢复
基于位置恢复
- 数据库在某一时间点可能既有错误的操作也有正确的操作
- 可以基于精准的位置跳过错误的操作
基于时间点恢复
- 跳过某个发生错误的时间点实现数据恢复
3.3、增量恢复的方法
1、一般恢复
mysqlbinlog [–no-defaults] 增量备份文件 | mysql -u 用户名 -p
2、基于位置的恢复
恢复数据到指定位置(到错误操作前的最后一次正确操作)
mysqlbinlog --stop-position=‘操作id’ 二进制日志 | mysql -u 用户名 -p密码
从指定的位置开始恢复数据(跳过错误操作后的第一次正确操作)
mysqlbinlog --start-position=‘操作id’ 二进制日志 | mysql -u 用户名 -p密码
3、基于时间点恢复
跳过某个发生错误的时间点实现数据恢复
恢复数据到指定时间(停止错误操作的时间)
mysqlbinlog --stop-datetime=‘错误时间’ 二进制日志 | mysql -u 用户名 -p密码
从指定的位置开始恢复数据(跳过错误操作后的第一次正确操作)
mysqlbinlog --start-datetime=‘正确操作时间’ 二进制日志 | mysql -u 用户名 -p密码
3.3.1 基于时间点恢复
流程解析:
还原时间点的步骤
删除原先坏掉的那张表
还原完全备份的那个数据库
停止在错误的时间点
开始在正确的时间点
配置流程:
1. 完整备份
[root@server1 ~]# mkdir -p /opt/bak
[root@server1 ~]# mysqldump -uroot -p text > /opt/bak/text-$(date +%F).sql #备份数据库
2. 开启增量备份
vi /etc/my.cnf
[mysqld]
log_bin=/usr/local/mysql/data/mysql_bin #开启增量备份
[root@server1 ~]# systemctl restart mysqld
[root@server1 ~]# cd /usr/local/mysql/data/
[root@server1 data]#ls -lh #查询增量备份结果
3. 下面开始操作增量备份
------查询该二进制日志内容是否正确----
[root@server1 ~]# mysqlbinlog --no-defaults --base64-output=decode-rows -v /usr/local/mysql/data/mysql_bin.000001
------再次操作,再次增量备份-------
[root@server1 ~]# mysql -uroot -p【密码】
mysql> select * from aa;
+----+--------+-------+
| id | name | score |
+----+--------+-------+
| 1 | naning | 99 |
| 2 | beiing | 88 |
+----+--------+-------+
2 rows in set (0.01 sec)
mysql> insert into aa values(3,'nini',90); #正确操作
mysql> delete from aa where name='beiing'; #错误操作
mysql> insert into aa values(4,'lili',80); #正确操作
mysql> select * from aa;
+----+--------+-------+
| id | name | score |
+----+--------+-------+
| 1 | naning | 99 |
| 3 | nini | 90 |
| 4 | lili | 80 |
+----+--------+-------+
3 rows in set (0.00 sec)
------开始操作增量备份----
[root@server1 ~]# mysqladmin -uroot -p flush-logs #将二进制日志更新,产生新的日志文件
查询产生新的日志
[root@server1 ~]# cd /usr/local/mysql/data
[root@server1 ~]# ls -lh #查询增量备份结果
[root@server1 ~]# mysqlbinlog --no-defaults --base64-output=decode-rows -v /usr/local/mysql/data/mysql_bin.000002 #查询该二进制日志内容是否正确
------还原时间点的步骤:------
删除原先坏掉的那张表;
mysql> use text;
mysql> drop table aa; #先删掉坏的那张表
还原完全备份的那个数据库;
[root@server1 ~]# mysql -uroot -p text < /opt/bak/text-2020-12-24.sql #还原完全备份的数据库
[root@server1 ~]# mysqlbinlog --no-defaults --base64-output=decode-rows -v /usr/local/mysql/data/mysql_bin.000001 #查询该二进制日志内容
# at 611
#201225 0:03:56 server id 1 end_log_pos 659 CRC32 0xedf25513 Delete_rows: table id 219 flags: STMT_END_F
### DELETE FROM `text`.`aa`
### WHERE
### @1='2'
### @2='beiing'
### @3='88'
# at 659
#201225 0:03:56 server id 1 end_log_pos 690 CRC32 0x34b45d14 Xid = 11
COMMIT/*!*/;
# at 690
#201225 0:15:31 server id 1 end_log_pos 755 CRC32 0xb79bf21e Anonymous_GTID last_committed=2 sequence_number=3 rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 755
#201225 0:15:31 server id 1 end_log_pos 827 CRC32 0x808d8f3a Query thread_id=3 exec_time=0 error_code=0
SET TIMESTAMP=1608826531/*!*/;
BEGIN
/*!*/;
# at 827
#201225 0:15:31 server id 1 end_log_pos 880 CRC32 0x4a5dc1bc Table_map: `text`.`aa` mapped to number 219
# at 880
#201225 0:15:31 server id 1 end_log_pos 926 CRC32 0xdddfa4c8 Write_rows: table id 219 flags: STMT_END_F
### INSERT INTO `text`.`aa`
### SET
### @1='4'
### @2='lili'
### @3='80'
# at 926
#201225 0:15:31 server id 1 end_log_pos 957 CRC32 0xca0e322e Xid = 12
[root@server1 ~]# mysqlbinlog --no-defaults --stop-datetime='2020-12-25 0:03:56' /usr/local/mysql/data/mysql_bin.000001 | mysql -u root -p #停止错误的时间
[root@server1 ~]# mysqlbinlog --no-defaults --start-datetime='2020-12-25 0:15:31' /usr/local/mysql/data/mysql_bin.000001 | mysql -u root -p #开始正确的时间
mysql> select * from text.aa; #查看是否复原
3.3.2 基于位置点恢复
流程解析:
位置点恢复
删除原先坏掉的那张表
任意删除两个数据字段
利用日志,备份恢复
查询该二进制日志内容
上一次正确操作的位置点停止
下一次正确操作的位置点开始
配置流程:
mysql> use text;
mysql> delete from aa where name='naning'; #误操作
mysql> delete from aa where name='lili'; #误操作
mysql> select * from aa;
[root@server1 ~]# mysqlbinlog --no-defaults --base64-output=decode-rows -v /usr/local/mysql/data/mysql_bin.000002 #查询该二进制日志内容
...省略内容
# at 2136
#201225 1:05:31 server id 1 end_log_pos 2189 CRC32 0x1d317671 Table_map: `text`.`aa` mapped to number 219
# at 2189
#201225 1:05:31 server id 1 end_log_pos 2237 CRC32 0xf54cb3f1 Delete_rows: table id 219 flags: STMT_END_F
### DELETE FROM `text`.`aa`
### WHERE
### @1='1'
### @2='naning'
### @3='99'
# at 2237
#201225 1:05:31 server id 1 end_log_pos 2268 CRC32 0x10a9ad32 Xid = 10
COMMIT/*!*/;
# at 2268
#201225 1:05:41 server id 1 end_log_pos 2333 CRC32 0x4b13ce13 Anonymonymous_GTID last_committed=1 sequence_number=2 rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 2333
#201225 1:05:41 server id 1 end_log_pos 2405 CRC32 0x6c431245 Query thread_id=3 exec_time=0 error_code=0
SET TIMESTAMP=1608829541/*!*/;
BEGIN
/*!*/;
# at 2405
#201225 1:05:41 server id 1 end_log_pos 2458 CRC32 0x293ac1bc Table_map: `text`.`aa` mapped to number 219
# at 2458
#201225 1:05:41 server id 1 end_log_pos 2504 CRC32 0x9ad956a4 Delete_rows: table id 219 flags: STMT_END_F
### DELETE FROM `text`.`aa`
### WHERE
### @1='4'
### @2='lili'
### @3='80'
# at 2504
#201225 1:05:41 server id 1 end_log_pos 2535 CRC32 0x793d7dc2 Xid = 11
...省略内容
[root@server1 ~]# mysqlbinlog --no-defaults --stop-position='2136' /usr/local/mysql/data/mysql_bin.000002 | mysql -u root -p #上一次操作正确的位置点停止
[root@server1 ~]# mysqlbinlog --no-defaults --start-position='2504' /usr/local/mysql/data/mysql_bin.000002 | mysql -u root -p #下一次操作正确的位置点开始
mysql> select * from text.aa; #查看是否复原