xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备份工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份形式
1.安装
(1).安装依赖包
yum install perl-DBI
yum install perl-DBD-MySQL
rpm -ivh libev-4.15-3.el7.x86_64.rpm
(2).安装xtrabackup
rpm -ivh percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm
(3).xtrabackup包含两个主要的工具,即xtrabackup和innobackupex,二者区别如下:
- xtrabackup只能备份innodb和xtradb两种引擎的表,而不能备份myisam引擎的表;
- innobackupex是一个封装了xtrabackup的Perl脚本,支持同时备份innodb和myisam,但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。
2.备份过程
备份开始时首先会开启一个后台检测进程,实时检测mysql redo的变化,一旦发现redo中有新的?日志写入,立刻将日志记
入后台日志文件xtrabackup_log中。之后复制innodb的数据文件和系统表空间文件ibdata1,待复制结束后,执行flush
tables with read lock操作,复制.frm,MYI,MYD,等文件(执行flush tableswith read lock的目的是为了防止数据表发生
DDL操作,并且在这一时刻获得binlog的位置)最后会发出unlock tables,把表设置为可读可写状态,最终停止
xtrabackup_log。
3.全备恢复
这一阶段会启动xtrabackup内嵌的innodb实例,回放xtrabackup日志xtrabackup_log,将提交的事务信息变更应用到
innodb数据/表空间,同时回滚未提交的事务(这一过程类似innodb的实例恢复)。恢复过程如下图:
4.增量备份
innobackupex增量备份过程中的"增量"处理,其实主要是相对innodb而言,对myisam和其他存储引擎而言,它仍然是全
拷贝(全备份)
"增量"备份的过程主要是通过拷贝innodb中有变更的"页"(这些变更的数据页指的是"页"的LSN大于
xtrabackup_checkpoints中给定的LSN)。增量备份是基于全备的,第一次增备的数据必须要基于上一次的全备,之后的
每次增备都是基于上一次的增备,最终达到一致性的增备。增量备份的过程如下,和全备的过程很类似,区别仅在第2
步。
5.增量备份恢复
和全备恢复类似,也需要两步,一是数据文件的恢复,如图4,这里的数据来源由3部分组成:全备份,增量备份和xtrabackup log。二是对未提交事务的回滚,如图5所示:
6.xtrabackup文件
backup-my.cnf
此文件包含了备份所需要的my.cnf的选项,如innodb_data_file_path innodb_log_file_in_group innodb_log_file_size等,
在恢复过程中innobackupex会依赖于该文件的选项
xtrabakcup_checkpoints
该文件记录备份的类型(full-backuped,incremental)备份状态以及备份信息的LSN信息,增量备份依赖于该信息
xtrabackup_binlog_info
该文件记录数据库备份的时候的二进制文件信息和位置,这是备份后数据库的位置,可以用来搭建主从
xtrabackup_logfile
该文件是--apply-log操作的时候,所需要的数据。如果该文件很大,则--apply-log需要的时间会比较长
7.备份恢复实验
场景1.全库备份全库恢复
点击(此处)折叠或打开
- (1).全备
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname
- (2).恢复全备
- --关闭数据库
- /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
- --备份旧的数据目录
- mv mysql3306 mysql3306_bak && mkdir -p /mysql/mysql3306/mysql3306
- --日志包含了redo以及undo的操作,应用过程类似与mysql hang机后的recovery操作,完成后备份处于一致性状态
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/11-39.dbname
- --从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/11-39.dbname
- --更改权限
- chown -R mysql:mysql mysql3306
- --开启数据库
- /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
- completed OK!
场景2.单数据库备份
点击(此处)折叠或打开
- (1).单库备份
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --databases=wwj /mysql/backup/`date +%H-%M`.dbname
- (2).恢复单库
- --关闭数据库
- /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
-
- --innobackupex prepare部分表空间
innobackupex --defaults-file=/etc/my5.7_3306.cnf --no-timestamp --apply-log --export --user root --socket=/tmp/mysql3306.sock /mysql/backup/15-38.dbname - --恢复到一个新的数据库
mysql初始化
/usr/local/mysql/bin/mysqld --defaults-file=/etc/my5.7_3306.cnf --initialize-insecure --basedir=/usr/local/mysql --datadir=/mysql/mysql3306/mysql3306/ --user=mysql
关闭新的mysqld实例 - 恢复数据
cp -rf /mysql/backup/15-38.dbname/* /mysql/mysql3306/mysql3306/
修改权限
chown mysql:mysql -R /home/mysql3306/mysql3306 -
- --开启数据库
- /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
- completed OK!
场景3.增量备份恢复
点击(此处)折叠或打开
- (1).全备
- mysql> show databases;
- +--------------------+
- | Database |
- +--------------------+
- | information_schema |
- | mysql |
- | performance_schema |
- | sys |
- | wwj |
- | wwj2 |
- +--------------------+
- 6 rows in set (0.04 sec)
-
- mysql> select * from wwj.t3;
- +------+------+
- | idt3 | idt4 |
- +------+------+
- | 3 | 30 |
- | 6 | 60 |
- | 5 | 500 |
- +------+------+
- 3 rows in set (0.01 sec)
-
- mysql> select * from wwj2.t1;
- +----+------+
- | id | name |
- +----+------+
- | 1 | gjb |
- +----+------+
- 1 row in set (0.02 sec)
-
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname
-
- (2).增量备份1
- insert into wwj.t3 values(7,70);
- insert into wwj2.t1 values(null,'haha2');
-
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/09-39.dbname --incremental /mysql/backup/`date +%H-%M`.dbname.incr
-
- (3).增量备份2
- insert into wwj.t3 values(8,80);
- insert into wwj2.t1 values(null,'haha33');
-
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/10-29.dbname.incr --incremental /mysql/backup/`date +%H-%M`.dbname.incr
-
- (4).查看checkpoint
- backup_type = full-backuped
- from_lsn = 0
- to_lsn = 2499663
- last_lsn = 2499672
- compact = 0
- recover_binlog_info = 0
- ------------------------------
- backup_type = incremental
- from_lsn = 2499663
- to_lsn = 2500376
- last_lsn = 2500385
- compact = 0
- recover_binlog_info = 0
- ------------------------------
- backup_type = incremental
- from_lsn = 2500376
- to_lsn = 2501066
- last_lsn = 2501075
- compact = 0
- recover_binlog_info = 0
-
- (5).继续执行事务
- insert into wwj.t3 values(9,90);
- insert into wwj.t3 values(10,100);
- insert into wwj.t3 values(11,110);
-
- (6).恢复前合并全备和增量目录
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-29.dbname.incr
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-37.dbname.incr
- 合并后结果
- backup_type = log-applied
- from_lsn = 0
- to_lsn = 2501066
- last_lsn = 2501075
- compact = 0
- recover_binlog_info = 0
-
- (7).再次准备
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/09-39.dbname
-
- (8).关闭数据库
- /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
-
- (9).删除数据库
- (10).恢复
- innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/09-39.dbname
-
- (11).启动数据库
- /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
8.常用参数说明
点击(此处)折叠或打开
- --defaults-file
- 同xtrabackup的--defaults-file参数
- --apply-log
- 在备份目录下,通过应用名称为xtrabackup_logfile的交易日志文件来准备备份。同时,创建新的交易日志。
- --copy-back
- 做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ;
- --remote-host=HOSTNAME
- 通过ssh将备份数据存储到进程服务器上;
- --stream=[tar]
- 备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。
- 在 使用参数stream=tar备份的时候,你的xtrabackup_logfile可能会临时放在/tmp目录下,如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+),很可能会撑满你的/tmp目录,可以通过参数--tmpdir指定目录来解决这个问题。
- --tmpdir=DIRECTORY
- 当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir
- --redo-only --apply-log组,
- 强制备份日志时只redo ,跳过rollback。这在做多个增量备份合并时非常必要。
- --use-memory=#
- 指定数据库恢复时使用的内存大小,需要搭配--apply-log参数
- --throttle=IOS
- 同xtrabackup的--throttle参数
- --sleep=是给ibbackup使用的,指定每备份1M数据,过程停止拷贝多少毫秒,也是为了在备份时尽量减小对正常业务的影响,具体可以查看ibbackup的手册 ;
- --compress[=LEVEL]
- 对备份数据迚行压缩,仅支持ibbackup,xtrabackup还没有实现;
- --include=REGEXP
- 对 xtrabackup参数--tables的封装,也支持ibbackup。备份包含的库表,例如:--include="test.*",意思是要备份 test库中所有的表。如果需要全备份,则省略这个参数;如果需要备份test库下的2个表:test1和test2,则写 成:--include="test.test1|test.test2"。也可以使用通配符,如:--include="test.test*"。
- --databases=LIST
- 列出需要备份的databases,如果没有指定该参数,所有包含MyISAM和InnoDB表的database都会被备份;
- --uncompress
- 解压备份的数据文件,支持ibbackup,xtrabackup还没有实现该功能;
- --slave-info,
- 当备份一个作为复制环境的服务器时,这个参数会自动将CHANGE MASTER语句写到备份中,在恢复备份后,不必执行CHANGE MASTER语句。
- --socket=SOCKET
- 指定mysql.sock所在位置,以便备份进程登录mysql.
- --compact
- 创建一个不包含第二索引(除了主键之外的索引)的备份
- --incremental-basedir
- 以上一次全量或增量备份的路径,作为增量备份的基础。指定这个参数的同时,应该同样指定--incremental参数
- --incremental
- 创建增量备份,当指定这个参数的时候,应该指定--incremental-lsn或--incremental-basedir参数,否则将会备份到--incremental-basedir路径
- --incremental-dir=DIRECTORY
- 指定增量备份的目录,需要搭配--incremental参数。
- --no-timestamp
- 这个参数会让xtrabackup在备份的时候不创建带有时间格式的子文件夹。当指定了这个参数,备份会直接创建在指定的备份目录下。
- --tables-file=FILE
- 这个参数会接受一个字符串,这个字符串指定了一个文件,这个文件包含了要备份的表名,格式如database.table,一行一个。
--parallel= 多线程拷贝数据文件,使用该参数要考虑线上的数据库的压力的问题,如果线程开启较多,会对硬盘产生交大的压力。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15412087/viewspace-2152876/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/15412087/viewspace-2152876/