一、数据备份的重要性
二、数据库备份类型
2.1 物理备份
① 冷备份 (脱机备份)
- 定义:冷备份是指在系统完全停止的情况下进行的备份。这意味着所有应用程序都需要关闭,并且在备份期间不会有新的数据生成。
- 优点:简单易行,通常比热备或温备更快完成。
- 缺点:需要停机时间,这可能会对业务造成影响;而且恢复时也需要较长的时间来重启系统。
② 热备份 (联机备份)
- 定义:热备份是在系统完全运行状态下进行的备份。这意味着即使在备份过程中,系统仍然可以接受新的数据输入和处理请求。
- 优点:无需停机,对业务影响最小;备份完成后可以立即投入使用。
- 缺点:技术实现较为复杂,消耗系统和数据库资源。备份过程中需要对每个数据文件申请开始和结束备份的操作,否则可能会备份到一些不一致的数据。
③ 温备份
- 定义:温备份介于冷备和热备之间,指数据库在非峰值时间进行的备份,这时数据库可能未关闭但流量较小。
- 优点:可以减少停机时间,同时能够保证数据的一致性。
- 缺点:实施起来比冷备复杂,可能需要特殊的技术手段来保证数据一致性。无法提供24x7的全天候备份服务
2.2 逻辑备份⭐⭐⭐
① 完全备份 ***
- 完全备份是指每次对整个数据库及其结构进行全面的备份,保存的是备份完成时刻的数据库状态。
- 完全备份是差异备份和增量备份的基础,备份和恢复操作非常简单方便。
- 但是,完全备份会导致大量的数据重复,占用大量的磁盘空间,并且备份所需的时间较长。
- 这种备份策略虽然简单可靠,但由于其占用大量的存储空间和时间,通常仅在首次备份或数据量不大时使用。
- 在恢复数据时,可以直接使用最近的一次完全备份文件,恢复过程简单快捷。
② 差异备份
- 差异备份是指备份自上次完全备份以来被修改过的所有文件。
- 这种备份策略会导致每次差异备份中包含的数据量逐渐增加,因为它是基于上一次完全备份的时间点来进行的。
- 由于每次差异备份都会记录从上次完全备份之后的所有更改,所以可能会包含一些重复的数据。
- 在恢复数据时,首先需要恢复最新的完全备份,然后只需恢复最后一次差异备份即可。
③ 增量备份 ***
- 增量备份是指只备份自上次完全备份或上次增量备份以来被修改过的文件。
- 备份的时间点是从上次完全备份或上次增量备份之后的数据变化,因此备份的数据量较小,占用的空间少,备份速度也较快。
- 在恢复数据时,需要从上一次的完全备份开始,依次恢复所有后续的增量备份。这意味着恢复过程可能比较耗时,并且如果中间某次增量备份数据损坏或丢失,将导致这部分数据无法恢复。
- 每次增量备份都是基于上一次完全备份或增量备份之后的数据变化,因此不会出现重复数据的情况,也不会额外占用磁盘空间。
- 尽管增量备份节省了存储空间和备份时间,但如果任何一个增量备份文件损坏或丢失,则可能导致数据无法完全恢复。
备份方式 完全备份 差异备份 增量备份完全备份时的状态 表 1 、表 2 表 1 、表 2 表 1 、表 2第 1 次添加内容 创建表 3 创建表 3 创建表 3备份内容 表 1 、表 2 、表 3 表 3 表 3第 2 次添加内容 创建表 4 创建表 4 创建表 4备份内容 表 1 、表 2 、表 3 、表 4 表 3 、表 4 表 4
工作中备份的方式和机制⭐⭐⭐
三、常见的备份方法
四、MySQL完全备份
五、数据库完全备份分类
六、实战案列
数据库备份之前,必须开启二进制日志文件
把内容插入进 /etc/my.cnf
vim /etc/my.cnf #在 [mysqld] 里插入
log-error=/usr/local/mysql/data/mysql_error.log
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
log-bin=mysql-bin
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5systemctl restart mysqld #重启 mysql 服务,生成 二进制文件、日志文件
ls /usr/local/mysql/data #里面 mysql-bin.00001,每重启一次mysql,就会生成一个二进制文件,mysql-bin.00002、mysql-bin.00003、....
use kgc;create table info1 (id int(4) not null auto_increment,name varchar(10) not null,age char(10) not null,hobby varchar(50),primary key (id));insert into info1 values(1,'user1',20,'running');insert into info1 values(2,'user2',30,'singing');
6.1 MySQL完全备份与恢复
6.1.1 物理冷备份与恢复
systemctl stop mysqldcd /usr/local/mysql/tar zcvf mysql_all-data_$(date +%F).tar.gz data # 压缩备份mv /usr/local/mysql/mysql_all-data_2024-09-02.tar.gz /opt/backupmv /usr/local/mysql/data/ /home #模拟数据库挂了,data没了tar zxvf mysql_all-data_2024-09-02.tar.gz -C /usr/local/mysql/ #解压恢复cd /usr/local/mysql/datals
6.1.2 mysqldump 备份与恢复(温备份)
(1) 、完全备份一个或多个完整的库 ( 包括其中所有的表 )mysqldump -u root -p[ 密码 ] --databases 库名 1 [ 库名 2] ... > / 备份路径 / 备份文件名 .sql# 导出的就是数据库脚本文件(导出的是你之前操作的命令,相当于重做一遍)当备份时不加 --databases(只有表,没有库)例 :①、备份 kgc库 结构和数据mysqldump -u root -p123456 --databases kgc > /opt/backup/kgc_all.sql②、备份mysql与kgc两个库结构和数据mysqldump -u root -p123456 --databases mysql kgc > /opt/backup/mysql-kgc.sql
(2) 、完全备份 MySQL 服务器中所有的库mysqldump -u root -p[ 密码 ] --all-databases > / 备份路径 / 备份文件名 .sql例 :mysqldump -u root -p123456 --all-databases > /opt/backup/all-databases.sqll
(3) 、完全备份指定库中的部分表mysqldump -u root -p[ 密码 ] 库名 [ 表名 1] [ 表名 2] ... > / 备份路径 / 备份文件名 .sql例 :①、完全备份kgc下info1表mysqldump -u root -p123456 kgc info1 > /opt/backup/kgc_info1.sql②、完全备份kgc下info2表mysqldump -u root -p123456 kgc info2 > /opt/backup/kgc_info2.sql③、完全备份kgc下info1表和info2表mysqldump -u root -p123456 kgc info1 info2 > /opt/backup/kgc_info1_and_info2.sql④、完全备份kgc下info1表结构mysqldump -u root -p123456 -d kgc info1 > /opt/backup/kgc_info1_table.sql# 使用 “ -d ” 选项,说明 只保存数据库的表结构# 不使用 “-d" 选项,说明表数据也进行备份# 做为一个表结构模板
(4) 查看kgx下info1备份文件grep -v "^--" /opt/backup/kgc_info1.sql | grep -v "^/" | grep -v "^$"
6.1.3 Mysql 完全恢复
# 恢复数据库1. 使用 mysqldump 导出的文件,可使用导入的方法source 命令mysql 命令2. 使用 source 恢复数据库的步骤登录到 MySQL 数据库执行 source 备份 sql 脚本的路径
1、 模拟数据库出现问题[root@server1 backup]# mysql -uroot -p123456 # 登录数据库mysql> use kgc; # 查看数据库信息mysql> drop table info1; # 删除kgc库下info1表mysql> show tables;2、恢复数据表mysql> use kgc; #进入kgc数据库mysql> source /opt/backup/kgc_info1.sql #恢复kgc下info1表(kgc_info1)
②、source恢复数据
mysql -uroot -p123456 -e 'drop table kgc.info2'; #删除kgc库下的info2mysql -uroot -p123456 -e 'show tables from kgc'; #查看kgc库下的表+---------------+
| Tables_in_kgc |
+---------------+
| info1 |
| ky37 |
+---------------+mysql -uroot -p123456 kgc < /opt/backup/kgc_info2.sql #恢复kgc库下的info2表mysql -uroot -p123456 -e 'show tables from kgc'; #查看kgc库下的表+---------------+
| Tables_in_kgc |
+---------------+
| info1 |
| info2 |
| ky37 |
+---------------+
备份时 加--databases 和 不加--databases 的区别
[root@mysql abc]# mysql -uroot -p123123 -e 'show tables from kgc;' # 查看kgc库下的表① 当 备份时加 --databases , 表示 针对于kgc库mysqldump -uroot -p123456 --databases kgc > /opt/backup/kgc_all.sql# 备份kgc库和数据# 恢复命令过程为:mysql -uroot -p123123drop database kgc;exitmysql -uroot -p123456 kgc < /opt/backup/kgc_all.sql #恢复kgc数据② 当 备份时不加 --databases(只有表,没有库) ,表示 针对kgc下的所有表mysqldump -uroot -p123456 kgc > /opt/backup/kgc.sql # 备份kgc的数据(没有库)# 恢复过程:mysql -uroot -p123123drop database kgc;create database kgc; #不加--databases,没有kgc库,要自己创建exitmysql -uroot -p123456 kgc < /opt/backup/kgc.sql# 查看 kgc_all.sql 和 kgc.sql主要原因在于两种方式的备份(前者会从 "create databases" 开始 , 而后者则全是针对表格进行操作)4. 在生产环境中,可以使用 Shell 脚本自动实现定时备份(时间频率需要确认)0 1 * * 6 /usr/local/mysql/bin/mysqldump -uroot -pabc123 kgc info1 >./kgc_infol_$(date +%Y%m%d).sql ;/usr/local/mysql/bin/mysqladmin -u root -pflush-logs
①、加--databases
②、不加--databases
数据库迁移
当备份时不加 --databases(只有表,没有库)
mysqldump -uroot -p123456 A > /opt/backup/A.sql 和
mysqldump -uroot -p123456 --databases A > /opt/backup/A_all.sql 的区别
vim A_all.sql # --databases 多了创建库,使用库 的过程;不加 --databases 没有库,只有表
数据库A 迁移到 数据库B
[root@localhost ~]# mysqldump -uroot -p123456 A > /opt/backup/A.sql
[root@localhost ~]# mysql -uroot -p123456 -e 'show tables from B';
[root@localhost ~]# mysql -uroot -p123456 B < /opt/backup/A.sql
[root@localhost ~]# mysql -uroot -p123456 -e 'show tables from B';
+-------------+
| Tables_in_B |
+-------------+
| a1 |
| a2 |
+-------------+
6.2 MySQL 增量备份与恢复
vim /etc/my.cnf[mysqld]log-bin=mysql-binbinlog_format = MIXED # 可选,指定二进制日志 (binlog) 的记录格式为 MIXED (混合输入)server-id = 1 # 可加可不加该命令# 二进制日志 (binlog) 有 3 种不同的记录格式 : STATEMENT ( 基于 SQL 语句 ) 、 ROW( 基于行 ) 、 MIXED( 混合模式 ) ,默认格式是 STATEMENT① STATEMENT (基于 SQL 语句) :每一条涉及到被修改的 sql 都会记录在 binlog 中缺点:日志量过大,如 sleep() 函数, last_insert_id()> ,以及 user-defined fuctions ( udf )、主从复制等架构记录日志时会出现问题总结:增删改查通过 sql 语句来实现记录,如果用高并发可能会出错,可能时间差异或者延迟,可能不是我们想想的恢复可能你先删除或者在修改,可能会倒过来。准确率底② ROW( 基于行 )只记录变动的记录,不记录 sql 的上下文环境缺点 : 如果遇到 update......set....where true 那么 binlog 的数据量会越来越大总结: update 、 delete 以多行数据起作用,来用行记录下来,只记录变动的记录,不记录 sql 的上下文环境,比如 sql 语句记录一行,但是 ROW 就可能记录 10 行,但是准确性高,高并发的时候由于操作量,性能变低 比较大所以记录都记下来,③ MIXED 推荐使用一般的语句使用 statement ,函数使用 ROW 方式存储。systemctl restart mysqld=====================================================================mysql 增量备份 STATEMENT 与 ROW 通俗解释在 MySQL 中,增量备份是指只备份发生变化的数据,而不是整个数据库。在增量备份中,可以使用基于语句( Statement )或基于行( Row )的方式来记录和复制这些变化。基于语句的增量备份( Statement-Based Incremental Backup ):通俗解释:就像记录每一步操作一样,基于语句的增量备份会记录每个 SQL 语句的变化,而不是具体的数据行。当备份时,只需要记录执行过的 SQL 语句,而不是具体的数据内容。适用场景:适用于简单的 SQL 语句操作,如 INSERT 、 UPDATE 、 DELETE 等,可以通过记录 SQL 语句来还原数据变化。基于行的增量备份( Row-Based Incremental Backup ):通俗解释:就像记录每个人的变化一样,基于行的增量备份会记录每个数据行的变化情况,而不是 SQL 语句。当备份时,只需要记录哪些数据行发生了变化,而不是具体的SQL 语句。适用场景:适用于复杂的数据变化情况,如涉及多个表之间关联的操作,可以通过记录数据行的变化来还原数据。在增量备份中,选择基于语句或基于行的方式取决于您对数据变化的关注点和备份恢复的需求。基于语句的增量备份更注重SQL 操作的记录,而基于行的增量备份更注重数据行的变化情况。根据具体情况选择合适的备份方式可以更有效地保护和恢复数据。======================================================================查看二进制日志文件的内容cp /usr/local/mysql/data/mysql-bin.000002 /opt/① mysqlbinlog --no-defaults /opt/mysql-bin.000002mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002#--base64-output=decode-rows :使用 64 位编码机制去解码( decode )并按行读取( rows )#-v: 显示详细内容#--no-defaults : 默认字符集(不加会报 UTF-8 的错误)PS: 可以将解码后的文件导出为 txt 格式,方便查阅mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002 >/opt/mysql-bin.000002例如, STATEMENT 模式记录量较少,但有可能会因为没有记录下所有细节而产生问题; ROW 模式可以记录下所有细节,但是记录量可能会非常大。所以在实际使用中需要根据情况选择适合的模式。
[root@mysql data]# mysqldump -uroot -p school info > /opt/school_info1_$(date+%F).sql[root@mysql data]# mysqldump -uroot -p123123 school > /opt/school_all_$(date+%F).sql3. 可每天进行增量备份操作,生成新的二进制日志文件 ( 例如 :mysql-bin.000002)mysqladmin -u root -p flush-logs4. 插入新数据,以模拟数据的增加或变更PS: 在第一次完全备份之后刷新二进制文件,在第二个二进制文件中记载着 " 增量备份的数据 "mysql> create database ky29;Query OK, 1 row affected (0.00 sec)mysql> use ky29;Database changedmysql> create table test1 (id int(4),name varchar(4));Query OK, 0 rows affected (0.00 sec)mysql> insert into test1 values(1,'one');Query OK, 1 row affected (0.00 sec)mysql> insert into test1 values(2,'two');Query OK, 1 row affected (0.00 sec)mysql> select * from test1;+------+------+| id | name |+------+------+| 1 | one || 2 | two |+------+------+2 rows in set (0.00 sec)5. 再次生成新的二进制日志文件 ( 例如 :mysql-bin.000003)mysqladmin -u root -p flush-logs# 之前的步骤 4 的数据库操作会保存到 mysql-bin.000002 文件中,之后我们测试删除 ky29 库的操作会保存在mysql-bin.000003 文件中 (以免当我们基于 mysql-bin.000002 日志进行恢复时,依然会删除库)
(1) 、模拟丢失更改的数据的恢复步骤(直接使用恢复即可)① 备份 ky11 库中 test1 表mysqldump -uroot -p123123 ky29 test1 > /opt/ky29_test29.sql② 删除 ky13 库中 test1 表drop table ky13.test1;③ 恢复 test1 表mysql -uroot -p ky13 < info-2023-04-29.sql# 查看日志文件[root@mysql data]# mysqlbinlog --no-defaults --base64-output=decode-rows -vmysql-bin.000002(2) 、模拟丢失所有数据的恢复步骤① 模拟丢失所有数据[root@mysql data]# mysql -uroot -p123123mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || ky13 || mysql || performance_schema || school || sys || test |+--------------------+7 rows in set (0.00 sec)mysql> drop database ky29;Query OK, 1 row affected (0.00 sec)mysql> exit② 基于 mysql-bin.000002 恢复mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -u root -p
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002例 :at 302#201122 16:41:16插入了 "user3" 的用户数据at 623#201122 16:41:24插入了 "user4" 的用户数据(1) 、基于位置恢复① 插入三条数据mysql> use ky29;mysql> select * from test1;+------+------+| id | name |+------+------+| 1 | one || 2 | two |+------+------+2 rows in set (0.00 sec)mysql> insert into test1 values(3,'true');Query OK, 1 row affected (0.00 sec)mysql> insert into test1 values(4,'f');Query OK, 1 row affected (0.00 sec)mysql> insert into test1 values(5,'t');Query OK, 1 row affected (0.00 sec)mysql> select * from test1;+------+------+| id | name |+------+------+| 1 | one || 2 | two || 3 | true || 4 | f || 5 | t |+------+------+5 rows in set (0.00 sec)# 需求:以上 id =4 的数据操作失误,需要跳过② 确认位置点,刷新二进制日志并删除 test1 表mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000003960 停止1066 开始# 刷新日志mysqladmin -uroot -p123123 flush-logsmysql> use ky13;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> show tables;+----------------+| Tables_in_ky29 |+----------------+| test1 |+----------------+1 row in set (0.00 sec)mysql> drop table ky29.test1;Query OK, 0 rows affected (0.00 sec)③ 基于位置点恢复# 仅恢复到操作 ID 为 “623" 之前的数据,即不恢复 "user4" 的数据mysqlbinlog --no-defaults --stop-position='623' /opt/mysql-bin.000002 | mysql -uroot -p# 仅恢复 "user4" 的数据,跳过 "user3" 的数据恢复mysqlbinlog --no-defaults --start-position='623' /opt/mysql-bin.000002 | mysql -uroot -pmysqlbinlog --no-defaults --start-position='400' --stop-position='623'/opt/mysql-bin.000002 | mysql -uroot -p # 恢复从位置为 400 开始到位置为 623 为止(2) 、基于时间点恢复mysqlbinlog [--no-defaults] --start-datetime=' 年 - 月 - 日 小时 : 分钟 : 秒 ' --stopdatetime=' 年 - 月 - 日小时 : 分钟 : 秒 ' 二进制日志 | mysql -u 用户名 -p 密码# 仅恢复到 16:41:24 之前的数据,即不恢复 "user4" 的数据mysqlbinlog --no-defaults --stop-datetime='2023-04-22 16:41:24' /opt/mysqlbin.000002 | mysql -uroot -p# 仅恢复 "user4" 的数据,跳过 "user3" 的数据恢复mysqlbinlog --no-defaults --start-datetime='2023-04-22 16:41:24' /opt/mysqlbin.000002 | mysql -uroot -p如果恢复某条 SQL 语之前的所有数据,就 stop 在这个语句的位置节点或者时间点如果恢复某条 SQL 语句以及之后的所有数据,就从这个语句的位置节点或者时间点 start