mysql备份之Xtrabackup

目录

 

3.Xtrabackup热备工具

3.1安装

3.2工具

3.3全量备份&还原

3.4 innobackupex参数详情

3.5 prepare

3.6恢复数据

3.7增量备份&还原

3.9压缩备份：必须使用-i参数拆包解压

3.10完整实例

3.10.1 完全备份

3.10.2 增量备份1

3.10.3 增量备份2

3.10.4 查看状态

3.10.4 回滚

3.10.5 查看状态

3.10.6 还原全量

3.10.7 模拟删除

3.10.8 模拟还原

---

3.Xtrabackup热备工具

Percona XtraBackup 8.0 是Percona XtraBackup新推出了一个针对MySQL8.0的版本，主要是MySQL8.0在Redo 和 数据库字典方面有了新的改进。 XtraBackup 2.4  继续支持MySQL 5.6 和 5.7。

 

两个主要的工具：xtrabackup、innobackupex

xtrabackup只能备份InnoDB和XtraDB 两种数据表

innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表

 

3.1安装

https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.14/binary/debian/xenial/x86_64/Percona-XtraBackup-2.4.14-ref675d4-xenial-x86_64-bundle.tar

把bin目录里的文件cp到/usr/bin/

/usr/bin/xtrabackup

/usr/bin/innobackupex

/usr/bin/xbcrypt

/usr/bin/xbstream

 

3.2工具

innobackupex：这个是其实是下面三个工具的一个perl脚本封装，可以备份MyISAM, InnoDB, XtraDB表。但在处理Myisam时需要加一个读锁。

xtrabackup：一个由C编译而来的二进制文件，只能备份InnoDB和XtraDB数据。

xbcrypt：用来加密或解密备份的数据。

xbstream：用来解压或压缩xbstream格式的压缩文件。

 

3.3全量备份&还原

innobackupex

xtrabackup命令只备份数据文件,并不备份数据表结构(.frm)，所以使用xtrabackup恢复的时候必须有对应表结构文件(.frm)。用innobackupex命令，此命令相当于冷备份，复制数据目录的索引，数据，结构文件，但会有短暂的锁表（时间依赖于MyISAM大小）。

 

sudo innobackupex --defaults-file=/etc/mysql/my.cnf --user=root  --password=11111111 --host=192.168.174.130 --databases=test /home/mf/back/

--defaults-file必须放最前面

/home/mf/back/备份会在该目录下生成一个按照时间命名的文件夹

-no-timestamp参数可以指定到自己想要的备份文件夹，不受时间命名的文件夹限制。

 

3.4 innobackupex参数详情

--compress：该选项表示压缩innodb数据文件的备份。

--compress-threads：该选项表示并行压缩worker线程的数量。

--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

--encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。

--encrypt-threads：该选项表示并行加密的worker线程数量。

--encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。

--encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。

--encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。

--include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。

--user：该选项表示备份账号。

--password：该选项表示备份的密码。

--port：该选项表示备份数据库的端口。

--host：该选项表示备份数据库的地址。

--databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。

--tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给--tables-file。

--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。

--no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。

--ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。

--slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。

--safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。

--rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。

--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。

--kill-long-query-type：该选项表示kill的类型，默认是all，可选select。

--ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。

--ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。

--galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。

--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。datadir= /var/lib/mysql

--defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。

----defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。

--no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。

--tmpdir：该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。

--history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。

--incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir。

--incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。

--incremental-dir：该选项表示增量备份的目录。

--incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。

--incremental-lsn：该选项表示指定增量备份的LSN，与--incremental选项一起使用。

--incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。

--incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。

--close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。

--compact：该选项表示创建一份没有辅助索引的紧凑的备份。

--throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用。

 

3.5 prepare

innobackupex --apply-log [--redo-only]

--apply-log：该选项表示同xtrabackup的--prepare参数,一般情况下,在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据 文件仍处理不一致状态。--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态。

--use-memory：该选项表示和--apply-log选项一起使用，prepare 备份的时候，xtrabackup做crash recovery分配的内存大小，单位字节。也可(1MB,1M,1G,1GB)，推荐1G。

--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。

--export：这个选项表示开启可导出单独的表之后再导入其他Mysql中。

--redo-only：这个选项在prepare base full backup，往其中merge增量备份（但不包括最后一个）时候使用。

 

sudo innobackupex --apply-log /home/mf/back/2019-05-29_01-51-33

xtrabackup_开头的几个文件记录了一些日志偏移量的信息和日志名和时间等信息。在xtrabackup_checkpoints中记录了备份的模式：

全量（full-backuped）还是增量（incremental） full-prepared

xtrabackup_binlog_info：记录当前最新的LOG Position

xtrabackup_binlog_pos_innodb:innodb log postion

xtrabackup_checkpoints: 存放备份的起始位置beginlsn和结束位置endlsn,增量备份需要这个lsn[增量备份可以在这里面看from和to两个值的变化

xtrabackup_info:备份的一些具体信息日志

 

3.6恢复数据

模拟删除test库 DROP DATABASE `test`;

删除原始目录里的文件rm -r ibdata1 ib_logfile0 ib_logfile1

关闭数据库

service mysql stop

开始恢复

innobackupex --defaults-file=/etc/mysql/my.cnf --copy-back /home/mf/back/2019-05-29_01-51-33/ 

my.cnf datadir要配置

datadir数据目录要为空 除非指定innobackupex --force-non-empty-directorires

 

部分备份，不能直接用--copy-back，只能手动来复制需要的库

sudo cp ib_logfile0 ib_logfile1 ibdata1 /var/lib/mysql

sudo cp -R test /var/lib/mysql

 

修改权限 修改文件拥有者

cd /var/lib/mysql/

chown -R mysql.mysql test/

chown -R mysql.mysql ib*

 

3.7增量备份&还原

增量备份的时候需要做一次全量备份

增量备份（基于全量的增量备份）

sudo innobackupex --defaults-file=/etc/mysql/my.cnf  --user=root --password=11111111 --host=192.168.174.130 --databases=test  --incremental --incremental-basedir=/home/mf/back/2019-05-29_01-51-33/ /home/mf/back2/

--incremental指明是增量备份，--incremental-basedir指定上次完整备份或者增量备份文件的位置。这里的增量备份其实只针对的是InnoDB，对于MyISAM来说，还是完整备份

backup_type = incremental

增量备份（基于增量的增量备份）

sudo innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=11111111 --host=192.168.174.130 --databases=test  --incremental --incremental-basedir=/home/mf/back2/2019-05-29_18-31-47/ /home/mf/back2/2019-05-29_18-43-05

还原

还原全量备份

sudo innobackupex  --incremental --apply-log --redo-only  /home/mf/back/2019-05-29_01-51-33/

第一次的增量备份应用日志,应用完日志后,将合并到全备上,恢复使用全备恢复

sudo innobackupex  --incremental --apply-log --redo-only  /home/mf/back/2019-05-29_01-51-33/ --incremental-dir=/home/mf/back2/2019-05-29_18-31-47/

sudo innobackupex  --incremental --apply-log --redo-only  /home/mf/back/2019-05-29_01-51-33/ --incremental-dir=/home/mf/back2/2019-05-29_18-43-05/

最后还原全量备份

sudo innobackupex  --apply-log  /home/mf/back/2019-05-29_01-51-33/

还原操作执行完之后，查看其lsn的信息

sudo cat back/2019-05-29_01-51-33/xtrabackup_checkpoints

 

3.9压缩备份：必须使用-i参数拆包解压

innobackupex ... --stream=tar  /home/mf/back/  1>/home/mf/back/test.tar

tar ixvf test.tar

 

innobackupex ... --stream=tar  /home/mf/back/ | gzip 1>/home/mf/back/test.tar.gz

tar izxvf test.tar.gz

 

3.10完整实例

3.10.1 完全备份

sudo innobackupex --defaults-file=/etc/mysql/my.cnf --user=root  --password=11111111 --databases=test --no-timestamp /home/mf/back/back1

3.10.2 增量备份1

sudo innobackupex --defaults-file=/etc/mysql/my.cnf  --user=root --password=11111111 --databases=test --no-timestamp  --incremental --incremental-basedir=/home/mf/back/back1/ /home/mf/back/back2

3.10.3 增量备份2

sudo innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=11111111 --databases=test --no-timestamp --incremental --incremental-basedir=/home/mf/back/back2/ /home/mf/back/back3

3.10.4 查看状态

sudo cat /home/mf/back/*/xtrabackup_checkpoints

3.10.4 回滚

这里操作出问题会导致service mysql start失败，恢复数据时之前的数据一定要备份

sudo innobackupex --incremental --apply-log --redo-only /home/mf/back/back1/

sudo innobackupex --user=root  --password=11111111 --incremental --apply-log --redo-only /home/mf/back/back1/ --incremental-dir=/home/mf/back/back2/

sudo innobackupex --user=root  --password=11111111 --incremental --apply-log --redo-only /home/mf/back/back1/ --incremental-dir=/home/mf/back/back3/

3.10.5 查看状态

3.10.6 还原全量

sudo innobackupex --apply-log /home/mf/back/back1/

3.10.7 模拟删除

mysql> drop database test;

sudo service mysql stop

3.10.8 模拟还原

cd /var/lib/mysql

mv ibdata1 ibdata1_bak

mv ib_logfile0 ib_logfile0_bak

mv ib_logfile1 ib_logfile1_bak

 

cd  /home/mf/back/back1/

sudo cp /home/mf/back/back1/ibdata1 /var/lib/mysql 数据字典

sudo cp /home/mf/back/back1/ib_logfile0 /var/lib/mysql

sudo cp /home/mf/back/back1/ib_logfile1 /var/lib/mysql

sudo cp -R /home/mf/back/back1/test /var/lib/mysql

 

cd /var/lib/mysql/

sudo chown -R mysql.mysql test/

sudo chown -R mysql.mysql ib*

 

sudo service mysql start

 

参考文档：

https://www.cnblogs.com/zhoujinyi/p/4088866.html

https://www.cnblogs.com/zhoujinyi/p/5893333.html