xtrabackup 备份与恢复

xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备份工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式

1.安装
(1).安装依赖包
yum install perl-DBI
yum install perl-DBD-MySQL
rpm -ivh libev-4.15-3.el7.x86_64.rpm

(2).安装xtrabackup
rpm -ivh percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm

(3).xtrabackup包含两个主要的工具，即xtrabackup和innobackupex，二者区别如下：
- xtrabackup只能备份innodb和xtradb两种引擎的表，而不能备份myisam引擎的表；
- innobackupex是一个封装了xtrabackup的Perl脚本，支持同时备份innodb和myisam，但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

2.备份过程

备份开始时首先会开启一个后台检测进程，实时检测mysql redo的变化，一旦发现redo中有新的?日志写入，立刻将日志记
入后台日志文件xtrabackup_log中。之后复制innodb的数据文件和系统表空间文件ibdata1，待复制结束后，执行flush
tables with read lock操作，复制.frm，MYI，MYD，等文件（执行flush tableswith read lock的目的是为了防止数据表发生
DDL操作，并且在这一时刻获得binlog的位置）最后会发出unlock tables，把表设置为可读可写状态，最终停止
xtrabackup_log。

3.全备恢复
这一阶段会启动xtrabackup内嵌的innodb实例，回放xtrabackup日志xtrabackup_log，将提交的事务信息变更应用到
innodb数据/表空间，同时回滚未提交的事务(这一过程类似innodb的实例恢复）。恢复过程如下图：

4.增量备份
innobackupex增量备份过程中的"增量"处理，其实主要是相对innodb而言，对myisam和其他存储引擎而言，它仍然是全
拷贝(全备份)
"增量"备份的过程主要是通过拷贝innodb中有变更的"页"（这些变更的数据页指的是"页"的LSN大于
xtrabackup_checkpoints中给定的LSN）。增量备份是基于全备的，第一次增备的数据必须要基于上一次的全备，之后的
每次增备都是基于上一次的增备，最终达到一致性的增备。增量备份的过程如下，和全备的过程很类似，区别仅在第2
步。

5.增量备份恢复
和全备恢复类似，也需要两步，一是数据文件的恢复，如图4，这里的数据来源由3部分组成：全备份，增量备份和xtrabackup log。二是对未提交事务的回滚，如图5所示：

6.xtrabackup文件
backup-my.cnf
此文件包含了备份所需要的my.cnf的选项，如innodb_data_file_path innodb_log_file_in_group innodb_log_file_size等，
在恢复过程中innobackupex会依赖于该文件的选项
xtrabakcup_checkpoints
该文件记录备份的类型（full-backuped，incremental）备份状态以及备份信息的LSN信息，增量备份依赖于该信息
xtrabackup_binlog_info
该文件记录数据库备份的时候的二进制文件信息和位置，这是备份后数据库的位置，可以用来搭建主从
xtrabackup_logfile
该文件是--apply-log操作的时候，所需要的数据。如果该文件很大，则--apply-log需要的时间会比较长

7.备份恢复实验
场景1.全库备份全库恢复

点击(此处)折叠或打开

1. (1).全备
   
2. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname
   
3. (2).恢复全备
   
4. --关闭数据库
   
5. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
   
6. --备份旧的数据目录
   
7. mv mysql3306 mysql3306_bak && mkdir -p /mysql/mysql3306/mysql3306
   
8. --日志包含了redo以及undo的操作，应用过程类似与mysql hang机后的recovery操作，完成后备份处于一致性状态
   
9. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/11-39.dbname
   
10. --从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置
    
11. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/11-39.dbname
    
12. --更改权限
    
13. chown -R mysql:mysql mysql3306
    
14. --开启数据库
    
15. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
    
16. completed OK!

场景2.单数据库备份

点击(此处)折叠或打开

1. (1).单库备份
   
2. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --databases=wwj /mysql/backup/`date +%H-%M`.dbname
   
3. (2).恢复单库
   
4. --关闭数据库
   
5. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
   
6. 
   
7. --innobackupex prepare部分表空间
   innobackupex --defaults-file=/etc/my5.7_3306.cnf --no-timestamp --apply-log  --export --user root --socket=/tmp/mysql3306.sock /mysql/backup/15-38.dbname
   
   
8. --恢复到一个新的数据库
   mysql初始化
   /usr/local/mysql/bin/mysqld --defaults-file=/etc/my5.7_3306.cnf --initialize-insecure --basedir=/usr/local/mysql --datadir=/mysql/mysql3306/mysql3306/ --user=mysql
   关闭新的mysqld实例
   
   
9. 恢复数据
   cp -rf /mysql/backup/15-38.dbname/* /mysql/mysql3306/mysql3306/
   
   修改权限
   chown mysql:mysql -R /home/mysql3306/mysql3306 
   
10. 
    
11. --开启数据库
    
12. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
    
13. completed OK!

场景3.增量备份恢复

点击(此处)折叠或打开

1. (1).全备
   
2. mysql> show databases;
   
3. +--------------------+
   
4. | Database |
   
5. +--------------------+
   
6. | information_schema |
   
7. | mysql |
   
8. | performance_schema |
   
9. | sys |
   
10. | wwj |
    
11. | wwj2 |
    
12. +--------------------+
    
13. 6 rows in set (0.04 sec)
    
14. 
    
15. mysql> select * from wwj.t3;
    
16. +------+------+
    
17. | idt3 | idt4 |
    
18. +------+------+
    
19. | 3 | 30 |
    
20. | 6 | 60 |
    
21. | 5 | 500 |
    
22. +------+------+
    
23. 3 rows in set (0.01 sec)
    
24. 
    
25. mysql> select * from wwj2.t1;
    
26. +----+------+
    
27. | id | name |
    
28. +----+------+
    
29. | 1 | gjb |
    
30. +----+------+
    
31. 1 row in set (0.02 sec)
    
32. 
    
33. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname
    
34. 
    
35. (2).增量备份1
    
36. insert into wwj.t3 values(7,70);
    
37. insert into wwj2.t1 values(null,'haha2');
    
38. 
    
39. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/09-39.dbname --incremental /mysql/backup/`date +%H-%M`.dbname.incr
    
40. 
    
41. (3).增量备份2
    
42. insert into wwj.t3 values(8,80);
    
43. insert into wwj2.t1 values(null,'haha33');
    
44. 
    
45. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/10-29.dbname.incr --incremental /mysql/backup/`date +%H-%M`.dbname.incr
    
46. 
    
47. (4).查看checkpoint
    
48. backup_type = full-backuped
    
49. from_lsn = 0
    
50. to_lsn = 2499663
    
51. last_lsn = 2499672
    
52. compact = 0
    
53. recover_binlog_info = 0
    
54. ------------------------------
    
55. backup_type = incremental
    
56. from_lsn = 2499663
    
57. to_lsn = 2500376
    
58. last_lsn = 2500385
    
59. compact = 0
    
60. recover_binlog_info = 0
    
61. ------------------------------
    
62. backup_type = incremental
    
63. from_lsn = 2500376
    
64. to_lsn = 2501066
    
65. last_lsn = 2501075
    
66. compact = 0
    
67. recover_binlog_info = 0
    
68. 
    
69. (5).继续执行事务
    
70. insert into wwj.t3 values(9,90);
    
71. insert into wwj.t3 values(10,100);
    
72. insert into wwj.t3 values(11,110);
    
73. 
    
74. (6).恢复前合并全备和增量目录
    
75. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname
    
76. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-29.dbname.incr
    
77. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-37.dbname.incr
    
78. 合并后结果
    
79. backup_type = log-applied
    
80. from_lsn = 0
    
81. to_lsn = 2501066
    
82. last_lsn = 2501075
    
83. compact = 0
    
84. recover_binlog_info = 0
    
85. 
    
86. (7).再次准备
    
87. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/09-39.dbname
    
88. 
    
89. (8).关闭数据库
    
90. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
    
91. 
    
92. (9).删除数据库
    
93. (10).恢复
    
94. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/09-39.dbname
    
95. 
    
96. (11).启动数据库
    
97. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &

8.常用参数说明

点击(此处)折叠或打开

1. --defaults-file
2. 同xtrabackup的--defaults-file参数
4. --apply-log
5. 在备份目录下，通过应用名称为xtrabackup_logfile的交易日志文件来准备备份。同时，创建新的交易日志。
7. --copy-back
8. 做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ；
10. --remote-host=HOSTNAME
11. 通过ssh将备份数据存储到进程服务器上；
13. --stream=[tar]
14. 备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。
15. 在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。
17. --tmpdir=DIRECTORY
18. 当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir
20. --redo-only --apply-log组,
21. 强制备份日志时只redo ,跳过rollback。这在做多个增量备份合并时非常必要。
23. --use-memory=#
24. 指定数据库恢复时使用的内存大小，需要搭配--apply-log参数
26. --throttle=IOS
27. 同xtrabackup的--throttle参数
29. --sleep=是给ibbackup使用的，指定每备份1M数据，过程停止拷贝多少毫秒，也是为了在备份时尽量减小对正常业务的影响，具体可以查看ibbackup的手册 ；
31. --compress[=LEVEL]
32. 对备份数据迚行压缩，仅支持ibbackup，xtrabackup还没有实现；
34. --include=REGEXP
35. 对 xtrabackup参数--tables的封装，也支持ibbackup。备份包含的库表，例如：--include="test.*"，意思是要备份 test库中所有的表。如果需要全备份，则省略这个参数；如果需要备份test库下的2个表：test1和test2,则写 成：--include="test.test1|test.test2"。也可以使用通配符，如：--include="test.test*"。
37. --databases=LIST
38. 列出需要备份的databases，如果没有指定该参数，所有包含MyISAM和InnoDB表的database都会被备份；
40. --uncompress
41. 解压备份的数据文件，支持ibbackup，xtrabackup还没有实现该功能；
43. --slave-info,
44. 当备份一个作为复制环境的服务器时，这个参数会自动将CHANGE MASTER语句写到备份中，在恢复备份后，不必执行CHANGE MASTER语句。
46. --socket=SOCKET
47. 指定mysql.sock所在位置，以便备份进程登录mysql.
49. --compact
50. 创建一个不包含第二索引（除了主键之外的索引）的备份
52. --incremental-basedir
53. 以上一次全量或增量备份的路径，作为增量备份的基础。指定这个参数的同时，应该同样指定--incremental参数
55. --incremental
56. 创建增量备份，当指定这个参数的时候，应该指定--incremental-lsn或--incremental-basedir参数，否则将会备份到--incremental-basedir路径
58. --incremental-dir=DIRECTORY
59. 指定增量备份的目录，需要搭配--incremental参数。
61. --no-timestamp
62. 这个参数会让xtrabackup在备份的时候不创建带有时间格式的子文件夹。当指定了这个参数，备份会直接创建在指定的备份目录下。
64. --tables-file=FILE
65. 这个参数会接受一个字符串，这个字符串指定了一个文件，这个文件包含了要备份的表名，格式如database.table，一行一个。

 --use-memory=# -apply-log 调节内存使用 

 --parallel=  多线程拷贝数据文件，使用该参数要考虑线上的数据库的压力的问题，如果线程开启较多，会对硬盘产生交大的压力。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/15412087/viewspace-2152876/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/15412087/viewspace-2152876/