Mysql DBA 高级运维学习之路-MySQL备份与恢复实战案例及生产方案
1.全量备份与增量备份
1.1 全量备份
全量数据就是数据库中所有的数据,全量备份就是把数据库中所有的数据进行备份。
备份所有库:
mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B –A gzip >/server/backup/mysq_backup_$(date +%F).sql.gz
备份一个库:
mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B linzhongniao|gzip >/server/backup/mysq_backup_$(date +%F).sql.gz
1.2 增量备份
增量备份是从上次全量备份之后更新的数据,对mysql来说binlog就是增量备份数据。增量备份可以按天备份。第二天做全备了,理论上前一天的备份就没用了。我们一般主服务器的增量备份一般保持七天,可以通过设置my.cnf配置文件中的expire_logs_days参数让它的值等于7.备份服务器上增量备份一般保持180天。按天备份就是一天做一次全量备份,每天的零点全量备份,零点之前做增量备份;除了按天全备也可以按周全备,一周做一次全备每天做增量备份。
按天备份的优点:恢复时间:短 维护成本:低
缺点:占用空间多,占用系统资源多,经常锁表影响用户体验。
按周全备的优点:占用空间少,占用系统资源少用户体验好一些。
缺点:恢复麻烦维护正本高,时间长。
企业场景全备和增量的频率是怎么做的呢?
(1)中小公司,全量一般是每天一次,业务流量低谷执行全备,执行前需要锁表。
(2)单台数据库没有做主从同步,如何增量。用rsync(配合定时任务频率大点,或者inotify,主从复制)把所有binlog备份到远程服务器,尽量做主从复制。
增量备份的例子:
rsync –avz /data/3306/mysql-bin.000* rsync_backup@192.168.1.116::backup –-password-file=/etc/rsync.password
(3)大公司周备,每周六00点一次全量,下周日-下周六00点前都是增量。
有点:节省备份时间,减小备份压力,缺点:增量的binlog文件副本太多,还原会很麻烦。
(4)一主多从,会有一个从库做备份,延迟同步。
Mysql的mysqldump备份什么时候派上用场?
a.迁移或者升级数据库时。
b.增加从库的时候。
c.因为硬件或特殊异常情况,主库或从库宕机,主从可以切换,无需备份。把其中一个同步最快的切换为主库即可。
d.人为的DDL、DML语句,主从库没办法了,所有库都会执行,此时需要备份。
e.跨机房灾备,需备份拷贝走数据。
2.MySQL增量恢复必备条件
2.1 开启MySQL log-bin 日志功能
[root@mysql ~]# egrep "\[mysqld]|log-bin" /data/3306/my.cnf
[mysqld]
log-bin = /data/3306/mysql-bin
提示:主库和备份的从库都需要开启binlog记录功能。
小结:增量恢复的条件:
存在一份全备加上全备之后的时刻到出问题时刻的所有增量binlog文件备份。
2.2 存在MySQL数据库全备
2.2.1 生产环境mysqldump备份命令
在凌晨某一时刻进行数据库全备(生产场景一般通过定时任务每日凌晨执行),备份命令如下:
mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B linzhongniao|gzip >/server/backup/mysq_backup_$(date +%F).sql.gz
innode引擎备份
mysqldump -uroot -p123456 -S /data/3306/mysql.sock --single-transaction -A -B|gzip >/server/backup/mysql_$(date +%F).sql.gz
myisam引擎备份
mysqldump -uroot -p123456 -S /data/3306/mysql.sock --lock-all-tables -A -B|gzip >/server/backup/mysql_$(date +%F).sql.gz
2.3 数据恢复思想
恢复思想就是先找到发生故障的原因,,谁在什么时候做了什么操作,检查是不是这个操作导致数据库故障。之后尽量停止数据库对外访问,先备份0:00到十点更新的数据binlog日志文件,刷新binlog。第一步先恢复全备,第二步增量恢复0:00到10:00这个时间段的数据。
3.实战演示数据恢复过程
3.1 执行语句并检查环境
3.1.1 执行建库建表语句及插入数据库语句
[root@mysql ~]# mysql -uroot -p123456 -S /data/3306/mysql.sock
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.5.32-log Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show variables like '%chaeacter_set%';
Empty set (0.01 sec)
mysql> create table student(
-> id int(4) not null AUTO_INCREMENT,
-> name char(20) not null,
-> primary key(id)
-> );
Query OK, 0 rows affected (0.01 sec)
mysql> insert into student(name) values('nishishei');
Query OK, 1 row affected (0.00 sec)
mysql> insert into student(name) values('zhangsan');
Query OK, 1 row affected (0.00 sec)
mysql> insert into student(name) values('lisi');
Query OK, 1 row affected (0.00 sec)
3.1.2 检查数据库及数据
检查是否有linzhongniao库
mysql> show databases like 'linzhongniao';
+-------------------------+
| Database (linzhongniao) |
+-------------------------+
| linzhongniao|
+-------------------------+
1 row in set (0.00 sec)
4.凌晨0点全量备份数据库
4.1 定时任务数据库备份脚本
(1) 这里我们使用MySQL主从复制课程内容里的备份脚本
#/bin/sh
#Date: 2018-02-11
#Author: Create by linzhongniao
#Mail: xxxxxxxxx@163.com
#Function:This scripts function is More complex backup scripts, which need to find binlog log files and location points
#Version: 1.1
USER=root
PASS=123456
MYSOCK=/data/3306/mysql.sock
DATA_PATH=/server/backup
DATA_FILE=${DATA_PATH}/mysql_backup_`date +%F`.sql.gz
LOG_FILE=${DATA_PATH}/mysql_backup_`date +%F`.log
MYSQL_PATH=/usr/local/mysql/bin
mysqldb=linzhongniao
#--single-transaction Specifically for the InnoDB engine, when the data is updated when the data is updated, it can't see the whole isolation.
MYSQL_DUMP="${MYSQL_PATH}/mysqldump -u$USER -p$PASS -S $MYSOCK --events -B -F --master-data=2 --single-transaction $mysqldb"
MYSQL_CMD="${MYSQL_PATH}/mysql -u$USER -p$PASS -S $MYSOCK"
cat |${MYSQL_CMD}<<EOF
flush table with read lock;
system echo "-----show master status result-----" >>$LOG_FILE;
system ${MYSQL_CMD} -e "show master status"|tail -1 >>$LOG_FILE;
system ${MYSQL_DUMP}|gzip > $DATA_FILE;
unlock tables;
quit
EOF
(2) 执行脚本全量备份linzhongniao库原理
[root@mysql ~]# date -s '2018/02/11' 更改系统时间模拟零点时刻
2018年 02月 11日 星期日 00:00:00 CST
[root@mysql ~]# mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B --master-data=2 linzhongniao|gzip >/server/backup/bak_$(date +%F).sql.gz
查看备份的数据
[root@mysql ~]# ll /server/backup/
总用量 684
-rw-r--r--. 1 root root203 2月 10 23:26 mysq_backup_2018-02-10.sql.gz
-rw-r--r--. 1 root root 529266 2月 8 19:11 mysql_backup_2018-02-08.sql
-rw-r--r--. 1 root root805 2月 10 23:18 mysql_backup_2018-02-10.sql.gz
-rw-r--r--. 1 root root306 2月 11 00:25 mysql_backup_2018-02-11.log
-rw-r--r--. 1 root root915 2月 11 00:25 mysql_backup_2018-02-11.sql.gz
-rw-r--r--. 1 root root805 2月 10 23:18 mysql_backup_.sql
(3) 实际工作中是通过定时任务来备份的
[root@mysql ~]# crontab –l
#mysql backup by linzhongniao on 20180211
00 00 * * * /bin/sh beifen1.sh >/dev/null 2>&1
4.2 备份后查看binlog日志情况
[root@mysql ~]# ll /data/3306/
总用量 172
drwxr-xr-x. 8 mysql mysql 4096 2月 12 2018 data
-rw-r--r--. 1 mysql mysql 2099 2月 10 06:48 my.cnf
-rwx------. 1 root root 1126 2月 8 10:10 mysql
-rw-rw----. 1 mysql mysql 1227 2月 8 19:17 mysql-bin.000001
-rw-rw----. 1 mysql mysql 126 2月 9 05:20 mysql-bin.000002
-rw-rw----. 1 mysql mysql 239 2月 9 05:25 mysql-bin.000003
-rw-rw----. 1 mysql mysql 458 2月 9 05:30 mysql-bin.000004
-rw-rw----. 1 mysql mysql 233 2月 9 05:34 mysql-bin.000005
-rw-rw----. 1 mysql mysql 415 2月 9 05:57 mysql-bin.000006
-rw-rw----. 1 mysql mysql 126 2月 9 05:59 mysql-bin.000007
-rw-rw----. 1 mysql mysql 126 2月 9 05:59 mysql-bin.000008
-rw-rw----. 1 mysql mysql 388 2月 9 08:22 mysql-bin.000009
-rw-rw----. 1 mysql mysql 652 2月 10 04:51 mysql-bin.000010
-rw-rw----. 1 mysql mysql 107 2月 10 04:51 mysql-bin.000011
-rw-rw----. 1 mysql mysql 3355 2月 10 06:17 mysql-bin.000012
-rw-rw----. 1 mysql mysql 126 2月 10 06:17 mysql-bin.000013
-rw-rw----. 1 mysql mysql 126 2月 10 06:17 mysql-bin.000014
-rw-rw----. 1 mysql mysql 1914 2月 10 08:34 mysql-bin.000015
-rw-rw----. 1 mysql mysql 150 2月 10 23:18 mysql-bin.000016
-rw-rw----. 1 mysql mysql 150 2月 10 23:18 mysql-bin.000017
-rw-rw----. 1 mysql mysql 126 2月 11 2018 mysql-bin.000018
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000019
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000020
-rw-rw----. 1 mysql mysql 150 2月 11 00:25 mysql-bin.000021
-rw-rw----. 1 mysql mysql 893 2月 11 01:41 mysql-bin.000022
-rw-rw----. 1 mysql mysql 616 2月 11 00:25 mysql-bin.index
-rw-rw----. 1 mysql mysql 5 2月 12 2018 mysqld.pid
srwxrwxrwx. 1 mysql mysql 0 2月 12 2018 mysql.sock
-rw-r-----. 1 mysql root 42156 2月 12 2018 mysql_zbf3306.err
-rw-rw----. 1 mysql mysql56 2月 11 00:34 relay-bin.index
-rw-rw----. 1 mysql mysql55 2月 11 01:41 relay-log.info
提示:我们可以看用-F参数备份生成的新的文件mysql-bin.000022,增量恢复就是从mysql-bin.000022开始的。
5.备份后模拟用户继续更新数据
5.1 模拟网站用户更新数据
因为在0点备份后到发生故障这个时间段内,用户还会随时的更新数据
[root@mysql ~]# mysql -uroot -p123456 -S /data/3306/mysql.sock
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 18
Server version: 5.5.32-log Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> use linzhongniao
Database changed
mysql> insert into student(name) values('linzhongniao10');
Query OK, 1 row affected (0.35 sec)
mysql> insert into student(name) values('linzhongniao11');
Query OK, 1 row affected (0.00 sec)
mysql> insert into student(name) values('linzhongniao12');
Query OK, 1 row affected (0.00 sec)
mysql> select * from student;
+----+----------------+
| id | name |
+----+----------------+
| 1 | nishishei |
| 3 | zhangsan |
| 5 | lisi |
| 6 | burenshi |
| 8 | liushishi |
| 10 | luhan |
| 11 | linzhongniao10 |
| 13 | linzhongniao11 |
| 15 | linzhongniao12 |
+----+----------------+
9 rows in set (0.00 sec)
mysql>
5.2 查看备份后再次更新后的数据库内容
一会儿我们模拟故障恢复后还应是这些数据,如果不是这些数据就是丢失了数据。
mysql> select * from linzhongniao.student;
+----+----------------+
| id | name |
+----+----------------+
| 1 | nishishei |
| 3 | zhangsan |
| 5 | lisi |
| 6 | burenshi |
| 8 | liushishi |
| 10 | luhan |
| 11 | linzhongniao10 |
| 13 | linzhongniao11 |
| 15 | linzhongniao12 |
+----+----------------+
9 rows in set (0.00 sec)
6.模拟用户破坏数据库
6.1 删除数据库linzhongniao
公司的老大于早晨10点,执行了删除数据库语句。然后跟没事儿人一样,本来想删除一个没有用的库。
mysql> drop database linzhongniao;
Query OK, 1 row affected (0.11 sec)
6.2 检查破坏结果
Linzhongniao库不见了
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| dfhjdhf|
| mysql |
| performance_schema |
| school |
| test |
+--------------------+
6 rows in set (0.00 sec)
6.3 发现故障排查并检查原因
数据库出问题10分钟后,公司的网站运营人员报网站故障,联系dba运维人员解决。此时,dba人员或开发人员查看网站报错(或者查看后台日志)。可以看到连不上linzhongniao数据库的显示。然后登录数据库排查,可以发现数据库linzhongniao库确实不在。经过多方询问得知老大早晨要处理一下数据库,于是问老大都干啥了。答曰,10点左右刚刚清除了一个“没有用的”数据库。致此问题原因找到,开始准备恢复,原因还有可能是开发人员通过程序日志判断。
提示:数据库的权限管理思想就在这里。不让别人有delete权限。
7.增量备份过程
通过防火墙禁止web等应用向主库写数据,让主库暂停更新,然后进行恢复。
7.1 检查全备及binlog日志
7.1.1 检查凌晨备份
[root@mysql ~]# ll /server/backup/mysql_backup_2018-02-11.*
-rw-r--r--. 1 root root 306 2月 11 00:25 /server/backup/mysql_backup_2018-02-11.log
-rw-r--r--. 1 root root 915 2月 11 00:25 /server/backup/mysql_backup_2018-02-11.sql.gz
7.1.2 检查全备后的所有binlog
[root@mysql backup]# ls -lrt /data/3306/ >/opt/mysql-bin.txt
[root@mysql backup]# sed -n "21,30p" /opt/mysql-bin.txt
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000019
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000020
-rw-rw----. 1 mysql mysql 150 2月 11 00:25 mysql-bin.000021
-rw-rw----. 1 mysql mysql 616 2月 11 00:25 mysql-bin.index
-rw-rw----. 1 mysql mysql 253 2月 11 00:34 relay-bin.000023
-rw-rw----. 1 mysql mysql 253 2月 11 00:34 relay-bin.000024
-rw-rw----. 1 mysql mysql56 2月 11 00:34 relay-bin.index
-rw-rw----. 1 mysql mysql 126 2月 11 07:51 mysql-bin.000018
drwxr-xr-x. 7 mysql mysql 4096 2月 11 23:52 data
-rw-rw----. 1 mysql mysql 995 2月 11 23:52 mysql-bin.000022
提示:我们在0点执行的全备,所以binlog日志文件是从0点往后更新的。我们可以用mysqlbinlog参数查看一下零点之后更新的binlog文件,看看里面有没有更新的数据。当然我们也可以通过查看0点全备的数据文件里面的change master的位置来查看最新更新的binlog文件。可以看到执行全备后的所有binlog日志文件,它里面记录了从0点全备之后到第二天十点所有有更新的数据包括执行的误操作,所以我们在增量恢复的时候必须把执行误操作的那条语句删掉。例如本次演示应该把drop那条语句删掉。
[root@mysql ~]# grep -i "change" /server/backup/mysql_backup_2018-02-11.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000022', MASTER_LOG_POS=107;
7.1.3 立即刷新并备份出binlog
一般数据库故障我们要停止数据库,如果领导说不能停,这种情况下我们要刷新一下binlog。刷新一下binlog就会生成一个新的mysql-bin日志文件mysql-bin.000023,这时候再更新数据就会往这个新的里面写。现在增量恢复的目标就是mysql-bin.000022。
[root@mysql ~]# mysqladmin -uroot -p123456 -S /data/3306/mysql.sock flush-logs
[root@mysql ~]# ls -lrt /data/3306/ >/opt/mysql-bin.txt
[root@mysql ~]# vim /opt/mysql-bin.txt
[root@mysql ~]# sed -n "21,27p" /opt/mysql-bin.txt
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000019
-rw-rw----. 1 mysql mysql 150 2月 11 00:24 mysql-bin.000020
-rw-rw----. 1 mysql mysql 150 2月 11 00:25 mysql-bin.000021
-rw-rw----. 1 mysql mysql 126 2月 11 07:51 mysql-bin.000018
drwxr-xr-x. 7 mysql mysql 4096 2月 11 23:52 data
-rw-rw----. 1 mysql mysql 1038 2月 12 01:36 mysql-bin.000022
-rw-rw----. 1 mysql mysql 107 2月 12 01:36 mysql-bin.000023
7.1.4 增量备份binlog
(1)要把mysql-bin.000022拷贝出来防止二次破坏数据
[root@mysql 3306]# cp mysql-bin.000022 /server/backup/
(2)将mysql-bin.000022解析成bin.sql数据文件
[root@mysql backup]# mysqlbinlog -d linzhongniao mysql-bin.000022 >bin.sql
[root@mysql backup]# ll
总用量 24
-rw-r--r--. 1 root root 2868 2月 12 13:45 bin.sql
-rw-r--r--. 1 root root 203 2月 10 23:26 mysq_backup_2018-02-10.sql.gz
-rw-r--r--. 1 root root 306 2月 11 00:25 mysql_backup_2018-02-11.log
-rw-r--r--. 1 root root 2331 2月 11 00:25 mysql_backup_2018-02-11.sql
-rw-r--r--. 1 root root 805 2月 10 23:18 mysql_backup_.sql
-rw-r-----. 1 root root 1038 2月 12 13:41 mysql-bin.000022
8.恢复数据
如果不停库禁止对外访问就会有一个问题,什么问题呢?
第一个问题就是,在恢复的时候还有用户往数据库写数据,mysql-bin.000023还会记录更新的内容;全备恢复和增量恢复后还要恢复mysql-bin.000023更新的数据,备份mysql-bin.000023还得刷新binlog,增量恢复完mysql-bin.000023还得增量恢复更新的binlog,这样就死锁了老得恢复。
第二个问题就是,我们在增量恢复的时候,mysql-bin.000023也会记录全量和增量恢复的更新。在全量和增量恢复之后再恢复mysql-bin.000023更新的记录的时候就会导致主键冲突,可以编辑mysql-bin.000023解析成的mysql数据文件将冲突的数据删掉,如果数据多呢?还可以关闭sql_log_bin。关闭sql_log_bin就不会更新binlog日志文件了,这样会导致数据缺失。所以这个时候,最好的方法就是挺库,禁止对外访问,再做全量和增量备份。最根本的就是数据库的权限管理,不给删除修改权限,只有运维的有删除修改权限,防止故障的发生。谁有权限都要有记录,谁导致的故障要负责任。
mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| log_bin | ON|
| log_bin_trust_function_creators | OFF |
| sql_log_bin | ON|
3 rows in set (0.00 sec)
8.1 全量恢复
[root@mysql backup]# ll
总用量 24
-rw-r--r--. 1 root root 2868 2月 12 13:45 bin.sql
-rw-r--r--. 1 root root 203 2月 10 23:26 mysq_backup_2018-02-10.sql.gz
-rw-r--r--. 1 root root 306 2月 11 00:25 mysql_backup_2018-02-11.log
-rw-r--r--. 1 root root 2331 2月 11 00:25 mysql_backup_2018-02-11.sql
-rw-r--r--. 1 root root 805 2月 10 23:18 mysql_backup_.sql
-rw-r-----. 1 root root 1038 2月 12 13:41 mysql-bin.000022
[root@mysql backup]# mysql -uroot -p123456 -S /data/3306/mysql.sock <mysql_backup_2018-02-11.sql
8.2 增量恢复
[root@mysql backup]# mysql -uroot -p123456 -S /data/3306/mysql.sock linzhongniao <bin.sql
8.3 检查恢复后的数据
mysql> select * from linzhongniao.student;
+----+----------------+
| id | name |
+----+----------------+
| 1 | nishishei |
| 3 | zhangsan |
| 5 | lisi |
| 6 | burenshi |
| 8 | liushishi |
| 10 | luhan |
| 11 | linzhongniao10 |
| 13 | linzhongniao11 |
| 15 | linzhongniao12 |
+----+----------------+
9 rows in set (0.00 sec)
9.增量恢复小结
1.人为SQL造成的误操作
2.全量和增量
3.恢复时建议对外停止更新
4.恢复全量,然后把增量日志中有问题的SQL语句删除,恢复到数据库。
增量恢复的核心思想:
1.流程制度的控制,如果不做,面临服务和数据,鱼和熊掌不可兼得。
2.可以通过延迟备份来解决或者通过监控,黑名单(不加where的语句是不让执行),白名单机制。
3.业务需求容忍度,选择停库,根据业务需求选择停库或锁表或者容忍丢失部分数据。