XtraBackup
3.1.2.2 使用innobackupex预备全备
3.1.7.7 提高对FLUSH TABLES WITH READ LOCK控制
4 如何使用和案例(How-tos and Recipes)
4.1.1 本地全备(备份,预备,还原)
4.3.4 如何创建基于GTID的Slave
2 安装XtraBackup
这里只介绍yum和rpm安装方法
其他安装方法查看:
§ Installing Percona XtraBackup from Binaries
§ Compiling and Installing from Source Code
2.1 安装XtraBackup binary版本
2.1.1 yum的安装方法:
自动
$ rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm
然后会看到:
Retrieving http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm
Preparing... ########################################### [100%]
1:percona-release ########################################### [100%]
手动
[percona]
name = CentOS $releasever - Percona
baseurl=http://repo.percona.com/centos/$releasever/os/$basearch/
enabled = 1
gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-percona
gpgcheck = 1
测试安装库
使用yum list | grep percona来确保安装
yum list | grep percona
会出现以下信息:
percona-release.x86_64 0.0-1 installed
...
Percona-Server-client-51.x86_64 5.1.47-rel11.1.51.rhel5 percona
Percona-Server-devel-51.x86_64 5.1.47-rel11.1.51.rhel5 percona
Percona-Server-server-51.x86_64 5.1.47-rel11.1.51.rhel5 percona
Percona-Server-shared-51.x86_64 5.1.47-rel11.1.51.rhel5 percona
Percona-Server-test-51.x86_64 5.1.47-rel11.1.51.rhel5 percona
...
xtrabackup.x86_64 1.2-22.rhel5 percona
2.1.2 直接下载rpm包安装
使用wget下载rpm包,然后通过rpm包安装
参考:http://www.cnblogs.com/cosiray/archive/2012/03/02/2376595.html
参考:http://blog.163.com/ji_1006/blog/static/10612341201382355716623/
3 XtraBackup使用手册
3.1 使用innobackupex脚本
innobackupex是perl脚本对xtrabackup的封装,和功能扩展。
3.1.1 备份预备工作
权限和连接
xtrabackup需要连接到数据库和datadir操作权限。
xtrabackup或者innobackupex在使用过程中涉及到两类用户权限:
1.系统用户,用来调用innobackupex或者xtrabackup
2.数据库用户,数据库内使用的用户
连接到服务:innobackupex或者xtrabackup通过--user和--password连接到数据库服务
$ innobackupex --user=DBUSER --password=SECRET /path/to/backup/dir/
$ innobackupex --user=LUKE --password=US3TH3F0RC3 --stream=tar ./ | bzip2 -
$ xtrabackup --user=DVADER --password=14MY0URF4TH3R --backup --target-dir=/data/bkps/
其他连接选项:
Option | Description |
--port | The port to use when connecting to the database server with TCP/IP. |
--socket | The socket to use when connecting to the local database. |
--host | The host to use when connecting to the database server with TCP/IP. |
需要的权限:连接到服务是为了执行备份,需要在datadir上有read,write和execute权限。在数据库中需要以下权限:
Ÿ RELOAD和LOCK TABLES权限为了执行FLUSH TABLES WITH READ LOCK 。
Ÿ REPLICATION CLIENT为了获取binary log 位置
Ÿ CREATE TABLESPACE权限为了导入表,用户表级别的恢复
Ÿ SUPER权限在slave环境下备份用来启动和关闭slave线程
mysql> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 's3cret';
mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'bkpuser'@'localhost';
mysql> FLUSH PRIVILEGES;
3.1.2 全备和全备还原
3.1.2.1 使用innobackupex创建全备
创建全备
$ innobackupex --user=DBUSER --password=DBUSERPASS /path/to/BACKUP-DIR/
会输出以下信息
innobackupex: Backup created in directory '/path/to/BACKUP-DIR/2013-03-25_00-00-09'
innobackupex: MySQL binlog position: filename 'mysql-bin.000003', position 1946
111225 00:00:53 innobackupex: completed OK!
从信息中会发现备份被创建在/path/to/BACKUP-DIR/2013-03-25_00-00-09
内部机制:在备份的时候innobackupex会调用xtrabackup来备份innodb表,并复制所有的表定义,其他引擎的表(MyISAM,MERGE,CSV,ARCHIVE)。
其他选项:
--no-timestamp,指定了这个选项备份会直接备份在BACKUP-DIR,不再创建时间戳文件夹。
--default-file,指定配置文件,用来配置innobackupex的选项。
3.1.2.2 使用innobackupex预备全备
创建完备份之后数据并不可以马上被还原,需要回滚未提交事务,前滚提交事务,让数据库文件保持一致性。
innobackupex使用--apply-log来做预备备份
$ innobackupex --apply-log /path/to/BACKUP-DIR
成功则会输出:
111225 1:01:57 InnoDB: Shutdown completed; log sequence number 1609228
111225 01:01:57 innobackupex: completed OK!
成功后,备份可以被用来还原数据库了。
内部机制:读取备份文件夹中的配置文件,然后innobackupex重做已提交事务,回滚未提交事务,之后数据就被写到了备份的数据文件(innodb文件)中,并重建日志文件。这一步隐式调用了2次xtrabackup --prepare。更多关于xtrabackup可以看之后的章节。
其他选项:
--user-memory:指定预备阶段可使用的内存,内存多则速度快,默认为10MB
$ innobackupex --apply-log --use-memory=4G /path/to/BACKUP-DIR
3.1.2.3 使用innobackupex还原备份
使用innobackupex --copy-back来还原备份
$ innobackupex --copy-back /path/to/BACKUP-DIR
会根据my.cnf复制所有备份到datadir下:
innobackupex: Finished copying back files.
111225 01:08:13 innobackupex: completed OK!
注:datadir必须是为空的,innobackupex --copy-back不会覆盖已存在的文件,还要注意,还原时需要先关闭服务,如果服务是启动的,那么就不能还原到datadir。
之后需要修改文件的所有者和权限:
$ chown -R mysql:mysql /var/lib/mysql
3.1.3 增量备份和还原
增量备份呢是为了减少空间使用和备份的时间。
增量备份的实现,依赖于innodb页上面的LSN(log sequence number),每次对数据库的修改都会导致LSN自增。
增量备份会复制指定LSN之后的所有数据页。
3.1.3.1 创建增量备份
创建全备
在创建增量备份之前需要一个全备,不然增量备份是没有意义的。
$ innobackupex /data/backups
这样就会在/data/backups下创建一个时间戳文件夹,如 /data/backups/2013-03-31_23-01-18,然后文件夹内是备份文件。
检查备份文件夹下的xtrabackup-checkpoints,会有以下信息:
backup_type = full-backuped
from_lsn =0
to_lsn =1291135
创建第一个增量备份
然后使用--incremental创建增量备份
$ innobackupex --incremental /data/backups --incremental-basedir=BASEDIR
BASEDIR指向之前的全备, /data/backups/2013-03-31_23-01-18,成功后备份会生成在/data/backups下的时间戳目录中,如:/data/backups/2013-04-01_23-01-18 ,把这个目录标记为 INCREMENTAL-DIR-1方便之后使用。
然后查看xtrabackup-checkpoints:
backup_type = incremental
from_lsn =1291135
to_lsn =1352113
可以发现和全备不同的是,backup_type为incremental,from_lsn不为0。
然后再创建一个增量备份
在INCREMENTAL-DIR-1的基础上再创建一个增量备份,记为INCREMENTAL-DIR-2。
$ innobackupex --incremental /data/backups --incremental-basedir=INCREMENTAL-DIR-1
增量备份替代方法
可以使用指定--incremental-lsn来代替--incremental-basedir的方法创建增量备份。
innobackupex --incremental /data/backups --incremental-lsn=1291135
innobackupex --incremental /data/backups --incremental-lsn=1358967
注意:xtrabackup只会影响xtradb或者innodb的表,其他引擎的表在增量备份的时候只会复制整个文件,不会差异备份。
3.1.3.2 预备增量备份
预备增量备份需要两个步骤:
1.需要先预备全备,但是只重做已提交事务,不回滚未提交事务,然后应用到全备,也是只重做已提交事务,不回滚未提交事务。
2.回滚未提交事务
如果已经回滚了未提交事务,那么就无法再应用增量备份。
注:在mariadb 10.0 上测试发现,不加--redo-only预备全备,然后使用 --redo-only应用增量备份,mysql服务能够正常启动并且数据被成功还原
在全备上,使用--redo-only只做已提交事务,不回滚未提交事务
innobackupex --apply-log --redo-only BASE-DIR
会出现以下结果:
120103 22:00:12 InnoDB: Shutdown completed; log sequence number 1291135
120103 22:00:12 innobackupex: completed OK!
应用第一个增量备份
innobackupex --apply-log --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-1
输出结果,注意LSN的变化:
120103 22:08:43 InnoDB: Shutdown completed; log sequence number 1358967
120103 22:08:43 innobackupex: completed OK!
如果没有指定--incremental-dir,那么innobackupex会使用最近的一个在basedir中被创建的子目录。
应用另外一个备份
innobackupex --apply-log BASE-DIR --incremental-dir=INCREMENTAL-DIR-2
因为是最后一个增量备份所以没有必要再加—redo-only,这样最后一个增量也被应用到全备上了。
注:--redo-only除了最后一个不用加之外,其他的增量应用都要加,最后一个应用的时候可以直接进入回滚未提交事务阶段。如果加了也没事儿,服务启动的时候会进入recovery过程,来回滚
需要注意的是,应用增量备份的时候只能按照备份的顺序来应用。如果应用顺序错误,那么备份就不可用。如果无法确定顺序,可以使用xtrabackup-checkpoints来确定顺序。
回滚未提交事务
当应用完所有增量备份的时候,就需要回滚所有未完成事务(如果最后一步加了 --redo-only就需要回滚未提交,不执行的话在服务启动阶段服务会处理未提交事务)。
innobackupex --apply-log BASE-DIR
Note that the iblog* files will not be created by innobackupex, if you want them to be created, use xtrabackup --prepare on the directory. Otherwise, the files will be created by the server once started.
注:
文中提到innodb事务日志(iblog*)不会被创建,但是测试下使用了最后一步回滚未提交事务发现有iblog*文件,而且上文提到 innobackupex会隐式执行两次 xtrabackup --prepare,在下文介绍xtrabackup时会提到,执行两次xtrabackup --preare会创建iblog*文件,与文中提到不符。
3.1.3.3 还原增量备份
还原增量备份其实和还原全备一样
innobackupex --copy-back BASE-DIR
注意事项可以看:使用innobackupex还原备份
3.1.3.4 可以使用流做增量备份
先进行一个全备:
innobackupex /data/backups
使用本地:
innobackupex --incremental --incremental-lsn=LSN-number --stream=xbstream ./ > incremental.xbstream
解包方法
xbstream -x < incremental.xbstream
使用本地备份流到远程并解包
innobackupex --incremental --incremental-lsn=LSN-number --stream=xbstream ./ | /
ssh user@hostname " cat - | xbstream -x -C > /backup-dir/"
3.1.4 部分备份和还原
xtrabackup可以使用部分备份,但是只能在一个表一个文件的状况下才能使用,设置mysql选项:innodb_file_per_table。
还原部分备份使用表导入的方式,而不是--copy-back选项。
尽管很多场景下可以通过直接复制文件的方式,但是会产生一致性问题不建议使用。
3.1.4.1 创建部分备份
部分备份有3个选项可以使用:
--include:设置正则表达式的格式,匹配的就备份
--table-file:在文件中指定要备份的表,然后通过这个选项传入文件
--database:指定数据库列表
使用include方式
include 方式数据库名也可以匹配:
$ innobackupex --include='^mydatabase[.]mytable' /path/to/backup
这个选项是传给xtrabackup –tables,所有的数据库目录都会被创建,但是里面可能是空的。
使用tables-file方式
如:
$ echo "mydatabase.mytable" > /tmp/tables.txt
$ innobackupex --tables-file=/tmp/tables.txt /path/to/backup
这个选项是应用xtrabackup –tablefile,只有匹配到表的数据库目录才会被创建
使用database方式
innobackupex可以传递用空格隔开的数组,格式为:databasename[.tablename]
$ innobackupex --databases="mydatabase.mytable mysql" /path/to/backup
注意:--databasees选项只会对非innodb引擎表和frm文件产生影响,对于innodb数据文件总是备份的
3.1.4.2 预备部分备份
部分备份的预备需要使用--export:
$ innobackupex --apply-log --export /path/to/partial/backup
会出现以下,是因为innodb表保存了数据文件但是没有保存frm文件。
111225 0:54:06 InnoDB: Error: table 'mydatabase/mytablenotincludedinpartialb'
InnoDB: in InnoDB data dictionary has tablespace id 6,
InnoDB: but tablespace with that id or name does not exist. It will be removed from data dictionary.
之后会发现生成了.exp和.cfg文件。exp文件适用于percona server,cfg适用于mariadb和mysql。mariadb 10.0可以直接通过ibd和frm文件import。mysql 5.6之后可以不使用cfg来进行import,cfg如果存在会被用来做表结构的验证。
在已经预备好的备份上,可以使用--export和--apply-log创建.exp文件。
3.1.4.3 还原部分备份
先创建一个表,表结构需要和被还原的一样。
OTHERSERVER|mysql> CREATE TABLE mytable (...) ENGINE=InnoDB;
然后discard表空间
OTHERSERVER|mysql> ALTER TABLE mydatabase.mytable DISCARD TABLESPACE;
之后把文件复制到相应的目录下(注意文件的所有者和文件权限),需要文件.ibd,.exp或者.cfg文件(.cfg文件用户mysql5.6)。
然后import表空间
OTHERSERVER|mysql> ALTER TABLE mydatabase.mytable IMPORT TABLESPACE;
3.1.5 窄备份
窄备份指不备份secondary索引数据。这样可以减少备份的大小。缺点就是需要重建索引,会很慢。
3.1.5.1 创建窄备份
$ innobackupex --compact /data/backups
创建了之后查看xtrabackup_checkpoint
backup_type = full-backuped
from_lsn =0
to_lsn =2888984349
last_lsn =2888984349
compact =1
compact=1说明该备份是窄备份。
3.1.5.2 预备窄备份
在预备窄备份的时候需要使用--rebuild-indexes来重新创建索引
$ innobackupex --apply-log --rebuild-indexes /data/backups/2013-02-01_10-29-48
从输出上可以看到索引被重建
130201 10:40:20 InnoDB: Waiting for the background threads to start
Rebuilding indexes for table sbtest/sbtest1 (space id: 10)
Found index k_1
Dropping 1 index(es).
Rebuilding 1 index(es).
Rebuilding indexes for table sbtest/sbtest2 (space id: 11)
Found index k_1
Found index c
Found index k
Found index c_2
Dropping 4 index(es).
Rebuilding 4 index(es).
对于增量备份的应用可以先不重建索引,在应用最后一个差异备份的时候使用—rebuild-index来创建索引,每次都应用都重建索引太花时间。
注意:为了重建速度,可以使用并发创建索引,使用参数--rebuild-threads指定并发数。
3.1.5.3 还原窄备份
窄备份还原和全备还原一样直接使用--copy-back选项。
3.1.6 备份加密
3.1.7 其他功能
3.1.7.1 备份压缩和流
Stream模式下,Xtrabackup的STDOUT可以指定tar或者xbstream格式输出。
流允许,其他程序过滤备份输出,提供更大的灵活存储backup。
使用流特性,需要指定—stream选项
$ innobackupex --stream=tar /tmp
innobackupex会用子程序启动xtrabackup –log-stream 定向到临时文件,然后使用xbstream把所有数据文件steam到STDOUT。
当压缩启动,xtrabackup压缩所有输出数据,但是元数据和非innodb文件不能被压缩。现在唯一支持的压缩算法是quicklz。会生产qpress归档格式的文件。
使用xbstream可以并发复制压缩可以提高备份速度。
使用xbstream流备份:
$ innobackupex --stream=xbstream /root/backup/ > /root/backup/backup.xbstream
使用流压缩:
$ innobackupex --stream=xbstream --compress /root/backup/ > /root/backup/backup.xbstream
解包:
$ xbstream -x < backup.xbstream -C /root/backup/
流压缩并备份到另外一台机器:
$ innobackupex --compress --stream=xbstream /root/backup/ | ssh user@otherhost "xbstream -x -C /root/backup/"
使用tar备份:
$ innobackupex --stream=tar /root/backup/ > /root/backup/out.tar
使用tar流并备份到其他服务器
$ innobackupex --stream=tar ./ | ssh user@destination \ "cat - > /data/backups/backup.tar"
提取tar流,需要加i参数
$ tar -xizf backup.tar.gz
也可以压缩流
$ innobackupex --stream=tar ./ | gzip - > backup.tar.gz
$ innobackupex --stream=tar ./ | bzip2 - > backup.tar.bz2
3.1.7.2 在复制环境下备份
有2个选项用于从复制环境下备份
slave-info
--slave-info,会打印binary log的位置和master server名,并且以change master的方式写到xtrabackup_slave_info中。
safe-slave-backup
--safe-slave-backup,为了保证复制状态的一致性,这个选项会关闭slave sql线程,等待直到SHOW STATUS 中的Slave_open_temp_tabls为了才启动备份。如果等待时间超过--safe-slave-backup-timeout就会报错默认300秒。备份成功后 slave sql thread会自动启动。
3.1.7.3 加速备份进程
使用parallel和compress-threads加速
当有多个文件时,可以使用使用--parallel加速备份,这个选项会指定xtrabackup备份文件的线程数。
$ innobackupex --parallel=4 /path/to/backup
如果使用xbstream可以考虑通过--compress-threads加速压缩进程,默认为1.
$ innobackupex --stream=xbstream --compress --compress-threads=4 ./ > backup.xbstream
使用rsync加速
为了加速复制过程,最小化FLUSH TABLES WITH READ LOCK堵塞时间,使用innobackupex –rsync。使用了这个选项所有文件都会在一个cp命令里面,而不是每个文件一个cp。并且innobackupex会调用2次 rsync,一次在执行FLUSH TABLES WITH READ LOCL之前,一次在之后。第二次执行的时候会把第一次之后的修改过的数据。
3.1.7.4 节流(throttling)备份
尽管innobackupex不会堵塞数据库操作,但是备份终会消耗系统资源。为了减少资源消耗,可以使用--throttle来限制每秒钟读写对次数。
3.1.7.5 还原独立表
使用xtrabackup来导出指定表,然后导入到XtraDB或者Mysql 5.6(测试可以的导入mariadb 10.0)
mariadb 10.0可以直接复制 ibd然后通过import tablespace倒入。
导出表
导出表使用—export选项:
$ innobackupex --apply-log --export /path/to/backup
会在发现多了一个.exp文件和.cfg文件(用于不同的mysql版本)
$ find /data/backups/mysql/ -name export_test.*
/data/backups/mysql/test/export_test.exp
/data/backups/mysql/test/export_test.ibd
/data/backups/mysql/test/export_test.cfg
导入表
先创建一个表,表结构需要和被还原的一样。
OTHERSERVER|mysql> CREATE TABLE mytable (...) ENGINE=InnoDB;
然后discard表空间
OTHERSERVER|mysql> ALTER TABLE mydatabase.mytable DISCARD TABLESPACE;
之后把文件复制到相应的目录下(注意文件的所有者和文件权限),需要文件.ibd,.exp或者.cfg文件(.cfg文件用户mysql5.6)。
然后import表空间
OTHERSERVER|mysql> ALTER TABLE mydatabase.mytable IMPORT TABLESPACE;
3.1.7.6 时间点还原
和mysql手册中介绍的时间点还原一样,xtrabackup也是通过binary log进行时间点还原。
先进行备份
$ innobackupex /path/to/backup --no-timestamp
然后进行预备
$ innobackupex --apply-log /path/to/backup
在服务器中找出操作binary log和当前binary log状态
mysql> SHOW BINARY LOGS;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 126 |
| mysql-bin.000002 | 1306 |
| mysql-bin.000003 | 126 |
| mysql-bin.000004 | 497 |
+------------------+-----------+
mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000004 | 497 | | |
+------------------+----------+--------------+------------------+
然后查看 xtrabackup_binlog_info确定备份的binary log位置:
$ cat /path/to/backup/xtrabackup_binlog_info
mysql-bin.000003 57
还原数据库
$ innobackupex --copy-back /path/to/backup
然后使用mysqlbinlog取出binary log中的记录,然后输出到文件
$ mysqlbinlog /path/to/datadir/mysql-bin.000003 /path/to/datadir/mysql-bin.000004 \
--start-position=57 > mybinlog.sql
然后检查输出的文件,确定要恢复到的位置,然后执行恢复
$ mysqlbinlog /path/to/datadir/mysql-bin.000003 /path/to/datadir/mysql-bin.000004 \
--start-position=57 --stop-datetime="11-12-25 01:00:00" | mysql -u root -p
3.1.7.7 提高对FLUSH TABLES WITH READ LOCK控制
在备份的时候,为了保证数据一致性,在备份非innodb表的之前会先使用FLUSH TABLES WITH READ LOCK,这个语句在有长时间查询运行的情况下也能执行,但是其他的所有事都会被堵塞,Waiting for table flush或者Waiting for master to send event,这个时候不应该kill FLUSH TABLES WITH READ LOCK,而是应该kill掉那个大的查询。因为当有大的查询的时候,FLUSH TABLES WITH READ LOCK会被卡住。
为了能够避免这种事情发生需要实现2个事情:
1.innobackupex等一个好的时机运行
2.innobackupex可以kiil 所有查询或者只能存在SELECT查询。即kill所有阻止获取全局锁的查询。
等待查询完成
为了避免innobackupex等待FLUSH TABLES WITH READ LOCK执行太长时间,可以使用innobackupex –lock-wait-timeout,可以用来限制等待时间,一旦超时就会报错退出。
另外一个是设置等待查询的类型,innobackupex --lock-wait-query-type 可取的值是all或者update,如果为all那么会等待所有长运行查询完成,如果是update,会等待除select之外的DML完成。
--lock-wait-threshold用来定义 --locl-wait-query-type中的长运行查询,如果超过--lock-wait-threshold都算长运行查询。
Kill堵塞查询
innobackupex可以kill所有阻止获取全局锁的查询。
可以通过指定--kill-long-queries-timeout用来指定执行FLUSH TABLES WITH READ LOCK后还可以执行的时间,0为不kill,--kill-long-query-type用来指定超时之后,kill的查询类型,可以是all或者select。
例如:
$ innobackupex --lock-wait-threshold=40 --lock-wait-query-type=all --lock-wait-timeout=180 --kill-long-queries-timeout=20 --kill-long-query-type=all /data/backups/
3.1.8 innobackupex工作原理
innobackupex是perl脚本,封装了xtrabackup和tar4ibd的功能。
备份
如果没有指定,innobackupex默认认为是备份模式。
默认innobackupex会以--suspend-at-end启动xtrabackup,来复制innodb文件。当xtrabackup复制完成,innobackupex发现创建的xtrabckup_suspended_2文件,就执行FLUASH TABLES WITH READ LOCL复制其他文件。
xtrabackup的确定,如果运行的时候没有带ibbackup参数,那么innobackupex会从xtrabackup_binary上找,然后读取要启动xtrabackup的二进制文件。否则只能通过连接mysql服务确定使用的二进制文件。如果不能连接就错误。
决定好二进制文件之后,断开连接以二进制方式启动binary。
如果不是增量备份,连接到服务,如果启动了--safe-slave-backup等待slave,然后获取全局read lock,防止其他引擎的表被修改,读锁只锁定非innodb表,并且在innodb表复制完数据和日志后进行。
当所有文件备份完之后,恢复ibbackup并等待完成对事务复制,复制在备份期间生产的事务。然后释放表锁,slave启动并且连接关闭,然后删除xtrabckup_suspended_2文件。
还原
还原数据库使用 --copy-back选项
innobackupex通过读取my.cnf中的 datadir, innodb_data_home_dir, innodb_data_file_path,innodb_log_group_home_dir并检查目录是否存在。
然后复制MyISAM表,索引,然后复制innodb表和索引,最后日志文件。复制的时候会保留文件属性,需要修改用户所有者。
恢复除了--cop-back也可以使用--move-back,不同的是一个是复制,一个是移动。
3.1.9 Reference
主要介绍一些选项:The innobackupex Option Reference
3.2 使用Xtrabackup
3.2.1 选择bianry
Xtrabackup有4个binary:Xtrabackup,Xtrabackup_51,Xtrabackup_55,Xtrabackup_56。
服务和binary对照:
Server | xtrabackup binary |
MySQL 5.1.* | xtrabackup_51 |
MySQL 5.1.* with InnoDB plugin | xtrabackup |
MySQL 5.5.* | xtrabackup_55 |
MySQL 5.6.* | xtrabackup_56 |
MariaDB 5.1.* | xtrabackup |
MariaDB 5.2.* | xtrabackup |
MariaDB 5.3.* | xtrabackup |
MariaDB 5.5.* | xtrabackup_55 |
MariaDB 10.0.* | xtrabackup_56 |
Percona Server 5.0 | xtrabackup_51 |
Percona Server 5.1 | xtrabackup |
Percona Server 5.5 | xtrabackup_55 |
Percona Server 5.6 | xtrabackup_56 |
3.2.2 配置Xtrabackup
所有的Xtrabackup配置都是通过选项设置,可以是命令行参数,也可以通过配置文件my.cnf。
xtrabackup会读取[mysql],[xtrabackup]选项,若Xtrabackup读入,会覆盖[mysqld]的选项。
并不是所有的配置都要写入配置文件,写配置文件只是为了方便。
xtrabackup 并不接受和mysqld一样的语法,有些语法不支持如,--set-variable=<variable>=<value>要用 --variable=value语法。
xtrabackup并不需要特殊的存储,但是如果是NFS并不是以sync挂载,那么在执行fsync的时候可能并不是真正的同步数据。
3.2.3 创建全备和还原
3.2.3.1 创建全备
使用xtrabackup创建全备需要指定选项-backup,还需要指定--target_dir,如果target不存在,会创建一个,如果存在那么如果是空的就会成功,如果不是空的,不会覆盖已存在文件,并且报错。
主要完成2个任务:
1.开启一个log copy线程,用来监控innodb日志文件(ib_logfile*),如果修改就复制到xtrabackup_logfile,因为复制会持续很长时间,所以恢复进程需要所有从备份开始到结束的所有日志。
2.复制innodb数据文件到目标目录,这个并不是简单的复制,是和innodb引擎一样,从数据目录中一页一页的复制。
当数据文件完成复制,xtrabackup会停止对日志的复制,并在目标目录中创建xtrabackup_checkpoint文件。
$ xtrabackup --backup --datadir=/var/lib/mysql/ --target-dir=/data/backups/mysql/
在备份输出的时候,可以看到日志的复制。
>> log scanned up to (3646475465483)
>> log scanned up to (3646475517369)
>> log scanned up to (3646475581716)
>> log scanned up to (3646475636841)
>> log scanned up to (3646475718082)
>> log scanned up to (3646475988095)
>> log scanned up to (3646476048286)
>> log scanned up to (3646476102877)
>> log scanned up to (3646476140854)
[01] Copying /usr/local/mysql/var/ibdata1
to /usr/local/mysql/Backups/2011-04-18_21-11-15/ibdata1
[01] ...done
注意:日志复制线程是每秒检查一次,查看是否有新的日志被写入,因为日志文件是被回绕写的,所以日志复制线程要更上日志文件的修改,如果没有复制日志被覆盖了,那么就会报错。
备份的时间长短依赖于数据库的大小,然后时间都可以停止数据库,因为不会去修改数据库数据。
3.2.3.2 预备全备
备份完数据库之后,下一步是预备数据库,因为数据文件在某个时间点上,并不是一致的,所以需要预备让数据文件在某个时间点一致,--prepare就是来完成,让数据文件保持一致性。
注意:在innobackupex --apply-log的时候,innodb就是自动读取配置文件back-my.cnf就是使用--defaults-file=xxx来指定一个配置文件,传递给xtrabackup用于预备数据库备份。
可以在任何机器上进行预备,没必要在原服务器或者要还原的服务器上进行。
在恢复阶段,xtrabackup嵌入了修改过的innodb,禁止了innodb的标准安全监察,如日志文件大小是否准确。
prepare阶段就是使用这个嵌入的innodb来做通过日志文件对数据文件进行crash恢复。
xtrabackup --prepare --target-dir=/data/backups/mysql/
当预备完成就会有以下输出:
101107 16:40:15 InnoDB: Shutdown completed; log sequence number <LSN>
现在备份一致性已经没问题了,可以准备还原,但是为了能够更快还原,可以再执行一次预备,第一次执行的时候只让数据文件保持一致性,并没有创建日志文件。第二次执行的时候会创建日志文件。如果第一次预备后还原,启动服务,服务会自动创建日志文件,但是比较滑时间。当第二次运行预备的时候有一下输出:
$ xtrabackup --prepare --target-dir=/data/backups/mysql/
xtrabackup: This target seems to be already prepared.
xtrabackup: notice: xtrabackup_logfile was already used to '--prepare'.
101107 16:54:10 InnoDB: Log file ./ib_logfile0 did not exist: new to be created
InnoDB: Setting log file ./ib_logfile0 size to <SIZE> MB
InnoDB: Database physically writes the file full: wait...
101107 16:54:10 InnoDB: Log file ./ib_logfile1 did not exist: new to be created
InnoDB: Setting log file ./ib_logfile1 size to <SIZE> MB
InnoDB: Database physically writes the file full: wait...
101107 16:54:15 InnoDB: Shutdown completed; log sequence number 1284108
如果是第二次运行,运行时会有以下提示:
xtrabackup: This target seems to be already prepared.
xtrabackup: notice: xtrabackup_logfile was already used to '--prepare'.
不推荐在执行预备的时候终端过程,这样可能会导致数据文件异常。
如果视图要加入增量备份,那么使用--apply-log-only,不然加不上增量备份。
3.2.3.3 还原全备
xtrabackup没有什么功能来还原备份,可以直接通过rsync,cp来还原数据库
注意:注意保持datadir必须是空的,并且mysql服务是停止的。不能还原到已经在运行的mysql服务中。
通过rsync还原:
$ rsync -avrP /data/backup/ /var/lib/mysql/
还原后注意修改所有者
$ chown -R mysql:mysql /var/lib/mysql
注意:xtrabackup只备份innodb数据文件,不会备份其他引擎的表,和frm文件。如果要对整个库备份还原可以使用innodbbackupex
3.2.4 增量备份和还原
3.2.4.1 增量备份
增量备份原理
xtrabackup和innobackupex都可以实现增量备份,也就是说只备份修改过的数据。
增量备份实现,依赖于innodb页中的LSN(log sequence number)增量备份会复制比之前的增量或者全备新的lsn页。
有2个算法找这样的页:
1.直接扫描数据页,并复制大于上次全备或者增量的lsn的页
2.类似percona server,启动 changed page tracking 会记录页的修改。这样的记录会被保存在一个map文件中。xtrabackup会使用这个文件读取需要备份的页数据。当然也可以使用--incremental-force-scan强制扫描所有数据页。
增量备份并不是比较全备的数据,如果没有上次的备份,可以使用指定--incremental-lsn来进行增量备份。增量备份只会备份比指定lsn大的数据页。当然需要全备来还原增量备份,不然增量备份是没有意义的。
创建增量备份
首先创建全备
xtrabackup --backup --target-dir=/data/backups/base --datadir=/var/lib/mysql/
查看xtrabackup_checkpoint信息:
backup_type = full-backuped
from_lsn =0
to_lsn =1291135
然后进行增量备份:
xtrabackup --backup --target-dir=/data/backups/inc1 \
--incremental-basedir=/data/backups/base --datadir=/var/lib/mysql/
在/data/backups/inc1下包含了delta文件,如果ibdata1.delta和test/table1.ibd.delta,检查增量备份的xtrabackup_checkpoint:
backup_type = incremental
from_lsn =1291135
to_lsn =1291340
在做一个增量备份:
xtrabackup --backup --target-dir=/data/backups/inc2 \
--incremental-basedir=/data/backups/inc1 --datadir=/var/lib/mysql/
3.2.4.2 预备增量备份
预备增量备份和在innobackupex一样,先不回滚方式应用全备,然后应用增量备份。
在innobackupex上使用 --apply-log-only来重做,但不回滚。
现在已有备份:
/data/backups/base
/data/backups/inc1
/data/backups/inc2
预备全备,不回滚未提交事务:
xtrabackup --prepare --apply-log-only --target-dir=/data/backups/base
成功后输出:
101107 20:49:43 InnoDB: Shutdown completed; log sequence number 1291135
应用第一个增量备份:
xtrabackup --prepare --apply-log-only --target-dir=/data/backups/base \
--incremental-dir=/data/backups/inc1
增量备份被应用到/data/backups/base,应用后输出:
incremental backup from 1291135 is enabled.
xtrabackup: cd to /data/backups/base/
xtrabackup: This target seems to be already prepared.
xtrabackup: xtrabackup_logfile detected: size=2097152, start_lsn=(1291340)
Applying /data/backups/inc1/ibdata1.delta ...
Applying /data/backups/inc1/test/table1.ibd.delta ...
.... snip
101107 20:56:30 InnoDB: Shutdown completed; log sequence number 1291340
应用最后一个增量备份:
xtrabackup --prepare --target-dir=/data/backups/base \
--incremental-dir=/data/backups/inc2
注意:除了最后一个外其他的都要使用--apply-log-only,如果最后一个也用了--apply-log-only,就还原了文件还是一直的,但是没有回滚未提交事务,当服务启动的时候会自动回滚未提交事务。
3.2.5 使用归档日志做增量备份
3.2.5.1 原理
在percona server 5.6.11-60.3加入了新功能,为xtradb日志归档,这个功能是,在老的日志文件被重写之前会被复制,因此保存了所有的redo日志。
归档日志的文件格式,ib_log_archive_<LSN>,LSN表示这个归档文件开始的lsn。
ib_log_archive_00000000010145937920
ib_log_archive_00000000010196267520
这个功能由innodb_log_archive启动,保存的位置为innodb_log_arch_dir(默认为数据文件夹)。
3.2.5.2 创建备份
创建一个全备
xtrabackup_56 --backup --target-dir=/data/backup/ --datadir=/var/lib/mysql/
xtrabackup_checkpoint如下:
backup_type = full-backuped
from_lsn =0
to_lsn =1546908388
last_lsn =1574827339
compact =0
3.2.5.3 使用归档日志来预备备份
xtrabackup_56 --prepare --target-dir=/data/backup/ --innodb-log-arch-dir=/data/archived-logs/
执行后查看xtrabackup_checkpoint,backup-type被修改:
backup_type = full-prepared
from_lsn =0
to_lsn =1546908388
last_lsn =1574827339
compact =0
另外也可以指定时间点预备:
xtrabackup_56 --prepare --target-dir=/data/backup/ --innodb-log-arch-dir=/data/archived-logs/ --to-archived-lsn=5536301566
3.2.6 部分备份和预备
当服务使用innodb_file_per_table的时候,xtrabackup支持部分备份。
3.2.6.1 备份部分备份
使用--tables进行部分备份
使用--tables备份,该选项的值是一个正则表达式,匹配的表名都会被备份。
备份test下的所有表:
$ xtrabackup --backup --datadir=/var/lib/mysql --target-dir=/data/backups/ \
--tables="^test[.].*"
备份test.t1表
$ xtrabackup --backup --datadir=/var/lib/mysql --target-dir=/data/backups/ \
--tables="^test[.]t1"
使用--tables-file进行备份
--tables-file指向一个选项包了表名,如:
$ echo “mydatabase.mytable” > /tmp/tables.txt $ xtrabackup –backup –tables-file=/tmp/tables.txt
3.2.6.2 预备备份
在prepare的时候会出现很多warnings,是因为表存在在innodb,但是对于的ibd不存在,这些表在还原备份启动innodb的时候会被删除。
InnoDB: Reading tablespace information from the .ibd files...
101107 22:31:30 InnoDB: Error: table 'test1/t'
InnoDB: in InnoDB data dictionary has tablespace id 6,
InnoDB: but tablespace with that id or name does not exist. It will be removed from data dictionary.
3.2.7 窄备份和预备
窄备份是在备份的是否不备份secondary index让备份文件边小。窄备份可以通过--compact启动。
3.2.7.1 创建窄备份
$ xtrabackup --backup --compact --target-dir=/data/backups
查看备份后的xtrabackup_checkpoint,compact为1说明是窄备份
backup_type = full-backuped
from_lsn =0
to_lsn =2888984349
last_lsn =2888984349
compact =1
3.2.7.2 预备窄备份
在预备的时候为了重建索引,需要使用选项--rebuild-indexes
$ xtrabackup --prepare --rebuild-indexes /data/backups/
输出:
[01] Checking if there are indexes to rebuild in table sakila/city (space id: 9)
[01] Found index idx_fk_country_id
[01] Rebuilding 1 index(es).
[01] Checking if there are indexes to rebuild in table sakila/country (space id: 10)
[01] Checking if there are indexes to rebuild in table sakila/customer (space id: 11)
[01] Found index idx_fk_store_id
[01] Found index idx_fk_address_id
[01] Found index idx_last_name
[01] Rebuilding 3 index(es).
使用--rebuild-threads指定重建的线程数,加快重建速度:
$ xtrabackup --prepare --rebuild-indexes --rebuild-threads=16 /data/backups/
输出:
Starting 16 threads to rebuild indexes.
[09] Checking if there are indexes to rebuild in table sakila/city (space id: 9)
[09] Found index idx_fk_country_id
[10] Checking if there are indexes to rebuild in table sakila/country (space id: 10)
[11] Checking if there are indexes to rebuild in table sakila/customer (space id: 11)
[11] Found index idx_fk_store_id
[11] Found index idx_fk_address_id
[11] Found index idx_last_name
[11] Rebuilding 3 index(es).
对于增量备份的应用可以先不重建索引,在应用最后一个差异备份的时候使用—rebuild-index来创建索引,每次都应用都重建索引太花时间。
3.2.7.3 备份还原
使用命令rsync或者cp来还原备份,和全备的还原一样,请看:3.2.3.3还原全备
3.2.8 其他功能
3.2.8.1 节流备份
--throttle用来控制每秒io次数,一次io,1MB。
如果在backup模式下,这个选项用来控制读写对的每秒次数。
默认不会节流,xtrabackup会读写是尽量快的方式。
3.2.8.2 使用脚本调用xtrabackup来执行备份
最典型的例子innobackupex,innobackupex是perl脚本调用xtrabackup来执行备份。
具体看:Scripting Backups With xtrabackup
3.2.8.3 分析表统计信息
具体查看:Analyzing Table Statistics
3.2.8.4 使用binary log
xtrabackup提取了inoodb的事务日志中提交事务,对于到binary log的位置。使用这个位置可以启动一个新的复制slave或者恢复一个时间点备份。
如果备份是一个来至于binary log启动的日志,xtrabackup会创建一个文件xtrabackup_binlog_info里面包含了,binary log文件名和位置。信息也会写在xtrabackup_binlog_pos_innodb,这个文件只会在只有xtradb或者innodb情况下才会准确。其他情况下应该使用xtrabackup_binlog_info。
时间点恢复,和innobackupex的一样可以查看 3.1.7.6时间点还原
关于如何还原一个slave可以查看下面的内容:4.3.1 六个步骤安装一个Slave
3.2.8.5 还原单个表
在mariadb 10.0中可以直接通过ibd文件导入表。
导出表
先查找是否有这个文件存在
$ find /data/backups/mysql/ -name export_test.*
/data/backups/mysql/test/export_test.ibd
然后导出表
$ xtrabackup --prepare --export --target-dir=/data/backups/mysql/
会产生exp文件
$ find /data/backups/mysql/ -name export_test.*
/data/backups/mysql/test/export_test.exp
/data/backups/mysql/test/export_test.ibd
/data/backups/mysql/test/export_test.cfg
注意:mysql使用cfg文件,这个文件包含了innodb字典dump。这个格式和exp文件的不同,exp文件用于xtradb。严格来说cfg在mysql 5.6和percona 5.6之后是可以不用的,如果存在cfg文件,那么innodb会通过cfg文件做schema验证 。
导入表
导入表,在percona server使用xtradb,需要设置innodb_import_table_from_xtrabackup设置为可用,mysql5.6只要表结构一样都可以导入。
1.执行alter table discard tablespace
2.复制上一步生成的文件到对于的数据库目录
3.执行alter table import tablespace导入
3.2.8.6 LRU dump备份
这个功能减少了服务warm up的时间,在重启的时候直接导入ib_lru_dump文件中的数据,在备份的时候会自动备份。
如果my.cnf配置了,percona server启动了innodb_buffer_pool_resotre_at_startup=1那么这个功能会自动启动。
这个功能在mariadb中有类似的功能:XtraDB/InnoDB Server System Variables
3.2.8.7 xtrabackup的限制
1.在32位的系统下如果xtrabackup_logfile大于4gb那么--prepare会报错
2.在第一次执行--prepare的时候不会生成ib_logfile*
3.xtrabackup只复制数据文件和日志,不会复制表定义,frm文件。
4.xtrabackup不支持--set-variable这种格式设置my.cnf
3.2.8.8 References
具体看:The xtrabackup Option Reference
3.2.9 xbstream
具体看: xbstream
3.2.10 xbcrypt
具体看:xbcrypt
3.2.11 Xtrabackup原理
xtrabackup是基于innodb的crash恢复功能。复制innodb数据文件,但是数据是不一致的,然后使用crash恢复让数据文件一直。
当innodb启动会去检查数据文件和日志文件,然后重做已提交事务,执行未提交事务。
xtrabackup记下LSN,然后启动,复制数据文件。同时xtrabackup启动一个后台进程用来监控日志文件,然后复制修改,这个进程在备份期间一直是运行的,因为日志文件时回绕的,避免数据被覆盖无法恢复。直到备份完成。
第二阶段就是预备阶段,xtrabackup通过执行crash恢复,应用日志文件到数据文件上。这个过程在xtrabackup中实现。innobackupex增加了功能,会对myisam和.frm进行复制。innobackupex启动xtrabackup,等待复制innodb结束,然后执行FLUSH TABLES WITH READ LOCK,停止对mysql数据的修改。复制非innodb引擎表,知道复制完成,然后释放锁。
这样在prepare阶段后,innodb和非innodb相互保持了一致性。innodb会一直redo,直到备份完成。这个时间刚刚好和FLUSH TABLES WITH READ LOCK时间一直,所以innodb和非innodb是保持同步的。
4 如何使用和案例(How-tos and Recipes)
4.1 innobackupex案例
4.1.1 本地全备(备份,预备,还原)
创建备份
$ innobackupex /data/backups
备份完成
100313 02:43:07 innobackupex: completed OK!
预备备份
使用--apply-log来预备,使用--user-memory来加快预备速度
$ innobackupex --use-memory=4G --apply-log /data/backups/2010-03-13_02-42-44/
完成
100313 02:51:02 innobackupex: completed OK!
还原备份
使用--copy-back来还原备份
innobackupex --copy-back /data/backups/2010-03-13_02-42-44/
## Use chmod to correct the permissions, if necessary!
还原的位子由my.cnf中的datadir决定。
注意修改文件所有者
$ chown -R mysql:mysql /var/lib/mysql
4.1.2 使用Stream备份
tar使用例子
是用留备份归档到文件 ‘backup.tar’
$ innobackupex --stream=tar ./ > backup.tar
压缩归档文件
$ innobackupex --stream=tar ./ | gzip - > backup.tar.gz
加密备份
$ innobackupex --stream=tar . | gzip - | openssl des3 -salt -k "password" > backup.tar.gz.des3
把备份复制到远程
$ innobackupex --stream=tar ./ | ssh user@desthost "cat - > /data/backups/backup.tar"
使用netcat复制到远程
## On the destination host:
$ nc -l 9999 | cat - > /data/backups/backup.tar
## On the source host:
$ innobackupex --stream=tar ./ | nc desthost 9999
和上面一样只是一样完成
$ ssh user@desthost "( nc -l 9999 > /data/backups/backup.tar & )" \
&& innobackupex --stream=tar ./ | nc desthost 9999
限制传输速度为10MB/s 需要pv工具。可以通过apt-get 安装
$ innobackupex --stream=tar ./ | pv -q -L10m \
| ssh user@desthost "cat - > /data/backups/backup.tar"
在备份的时候计算checksum
## On the destination host:
$ nc -l 9999 | tee >(sha1sum > destination_checksum) > /data/backups/backup.tar
## On the source host:
$ innobackupex --stream=tar ./ | tee >(sha1sum > source_checksum) | nc desthost 9999
## compare the checksums
## On the source host:
$ cat source_checksum
65e4f916a49c1f216e0887ce54cf59bf3934dbad -
## On the destination host:
$ destination_checksum
65e4f916a49c1f216e0887ce54cf59bf3934dbad -
xbstream使用例子
备份并归档为‘backup.xbstream
innobackupex --stream=xbstream ./ > backup.xbstream
使用压缩归档
innobackupex --stream=xbstream --compress ./ > backup.xbstream
解包
xbstream -x < backup.xbstream
把备份发送到其他目录
innobackupex --compress --stream=xbstream ./ | ssh user@otherhost "xbstream -x"
并发压缩归档
innobackupex --compress --compress-threads=8 --stream=xbstream --parallel=4 ./ > backup.xbstream
4.1.3 创建增量备份
创建备份
先创建一个全备:
innobackupex --user=USER --password=PASSWORD /path/to/backup/dir/
全备会生成一个时间戳的子目录,备份在子目录里,如/path/to/backup/dir/2011-12-24_23-01-00/,并记为$FULLBACK
创建增量备份
innobackupex --incremental /path/to/inc/dir \
--incremental-basedir=$FULLBACKUP --user=USER --password=PASSWORD
生成的目录为:/path/to/inc/dir/2011-12-25_00-01-00/并记为$INCREMENTALBACKUP
预备备份
innobackupex --apply-log --redo-only $FULLBACKUP \
--use-memory=1G --user=USER --password=PASSWORD
--user-memory可以加速预备速度。
输出:
111225 01:10:12 InnoDB: Shutdown completed; log sequence number 91514213
然后应用增量
innobackupex --apply-log --redo-only $FULLBACKUP
--incremental-dir=$INCREMENTALBACKUP
--use-memory=1G --user=DVADER --password=D4RKS1D3
因为是应用到 $FULLBACK下的,所以不再增量备份文件夹下。
如果还原多个增量备份,但是忘记了备份顺序可以查看xtrabackup_checkpoint文件
如:
backup_type = full-backuped
from_lsn =0
to_lsn =1291135
backup_type = incremental
from_lsn =1291135
to_lsn =1291340
一旦都预备好之后,就可以回滚未提交事务,然后还原备份使用了
innobackupex-1.5.1 --apply-log $FULLBACKUP --use-memory=1G \
--user=$USERNAME --password=$PASSWORD
4.1.4 创建压缩备份
备份
带--compress创建压缩备份
$ innobackupex --compress /data/backup
如果想要加快速度,可以使用--compress-threads加速
$ innobackupex --compress --compress-threads=4 /data/backup
输出:
...
[01] Compressing ./imdb/comp_cast_type.ibd to /data/backup/2013-08-01_11-24-04/./imdb/comp_cast_type.ibd.qp
[01] ...done
[01] Compressing ./imdb/aka_name.ibd to /data/backup/2013-08-01_11-24-04/./imdb/aka_name.ibd.qp
[01] ...done
...
130801 11:50:24 innobackupex: completed OK
预备
在预备之前先要使用qpress解压
$ for bf in `find . -iname "*\.qp"`; do qpress -d $bf $(dirname $bf) && rm $bf; done
在xtrabackup2.1.4之后也可以使用--decompress解压
$ innobackupex --decompress /data/backup/2013-08-01_11-24-04/
这个选项加压文件原来的文件会被替换为解压后的文件。
注意:使用--decompress需要安装qpress,并且--parallel可以和--decompress一起使用,加速解压缩。
然后使用--apply-log预备
$ innobackupex --apply-log /data/backup/2013-08-01_11-24-04/
还原
使用--copy-back还原数据库
$ innobackupex --copy-back /data/backups/2013-08-01_11-24-04/
--copy-back读取复制到my.cnf中的datadir的值
之后修改文件的所有者
$ chown -R mysql:mysql /var/lib/mysql
之后再启动服务
4.1.5 备份还原独立分区
xtrabackup可以部分备份,这个也让独立区的备份还原变成可能,只要启动innodb_file_per_table。
先创建一个分区表
create table t.tb_part (id int ,v int) partition by hash(id) partitions 4;
然后插入数据
insert t.tb_part values(1,1),(2,1),(3,1),(4,1);
这样保证每个分区都有1条记录。
4.1.5.1 创建备份
使用innobackupex --include进行备份,还有很多其他方法进行部分备份:
innobackupex --user=root --include='^t[.]tb_part' /home/tiansign/mysql_backup
4.1.5.2 预备备份
和独立表还原类似,使用--export进行预备
innobackupex --apply-log --export /home/tiansign/mysql_backup/2014-08-19_23-25-55/
ls
tb_part.frm tb_part#P#p0.ibd tb_part#P#p2.cfg tb_part#P#p3.exp
tb_part.par tb_part#P#p1.cfg tb_part#P#p2.exp tb_part#P#p3.ibd
tb_part#P#p0.cfg tb_part#P#p1.exp tb_part#P#p2.ibd
tb_part#P#p0.exp tb_part#P#p1.ibd tb_part#P#p3.cfg
有类似如下输出
xtrabackup: export option is specified.
xtrabackup: export metadata of table 't/tb_part#P#p0' to file `./t/tb_part#P#p0.exp` (1 indexes)
xtrabackup: name=GEN_CLUST_INDEX, id.low=58, page=3
xtrabackup: export metadata of table 't/tb_part#P#p2' to file `./t/tb_part#P#p2.exp` (1 indexes)
xtrabackup: name=GEN_CLUST_INDEX, id.low=60, page=3
xtrabackup: export metadata of table 't/tb_part#P#p3' to file `./t/tb_part#P#p3.exp` (1 indexes)
xtrabackup: name=GEN_CLUST_INDEX, id.low=61, page=3
xtrabackup: export metadata of table 't/tb_part#P#p1' to file `./t/tb_part#P#p1.exp` (1 indexes)
xtrabackup: name=GEN_CLUST_INDEX, id.low=59, page=3
4.1.5.3 从备份还原
这里主要介绍maridb 10.0的方法,也适用于mysql5.6
首先创建表结构:
create table test.tb_part (id int ,v int) partition by hash(id) partitions 4;
create table test.p3 (id int ,v int) ;
然后discard
alter table test.p3 discard tablespace;
复制cfg和ibd到数据库目录下(在mariadb 10.0之后可以不用cfg文件,直接使用ibd文件)
cp tb_part#P#p3.ibd /home/db/test/p3.ibd
然后修改所有者
chown mysql:mysql /home/db/test/p3.ibd
最后 import 表
alter table test.p3 import tablespace;
最后通过exchange partition方式把表数据交换到分区表中
alter table test.tb_part exchange partition p3 with table test.p3;
验证
select *from test.tb_part;
4.2 xtrabackup案例
4.3 其他案例
4.3.1 六个步骤安装一个slave
需要的东西
1.TheMaster服务器
a.需要安装mysql并且能公国tcp/ip访问
b.配置了SSH服务
c.有个系统账号,并有一些权限
d.有个数据库账号,也有相应的权限
e.服务的binlog启动,并且server-id为1
2.TheSlave,另一个系统安装了mysql,其他都和TheMaster一样,但是server-id要为2
3.2个系统都要安装xtrabackup
步骤1:创建一个备份并准备
TheMaster$ innobackupex --user=yourDBuser --password=MaGiCdB1 /path/to/backupdir
完成之后预备
TheMaster$ innobackupex --user=yourDBuser --password=MaGiCdB1 /
--apply-log /path/to/backupdir/$TIMESTAMP/
如果你有特定的配置文件,那么通过--defaults-file=XXXX/my.cnf指定。默认使用备份目录下的backup-my.cnf。
步骤2:把备份复制到TheSlave
使用rsync来同步备份文件
TheMaster$ rsync -avprP -e ssh /path/to/backupdir/$TIMESTAMP TheSlave:/path/to/mysql/
关闭,mysql服务,并保存原先的数据库
TheSlave$ mv /path/to/mysql/datadir /path/to/mysql/datadir_bak
然后把备份复制到mysql配置的datadir下
TheSlave$ mv /path/to/mysql/$TIMESTAMP /path/to/mysql/datadir
修改文件所有者
TheSlave$ chown mysql:mysql /path/to/mysql/datadir
步骤3:配置Master
配置slave,master连接账号
TheMaster|mysql>GRANT REPLICATION SLAVE ON*.* TO'repl'@'$slaveip'
IDENTIFIED BY'$slavepass';
保证TheSlave可以通过这个账号连接到TheMaster
TheSlave$ mysql --host=TheMaster --user=repl --password=$slavepass
验证权限
mysql> SHOW GRANTS;
步骤4:配置Slave
先复制master 上的配置文件
TheSlave$ scp user@TheMaster:/etc/mysql/my.cnf /etc/mysql/my.cnf
然后修改server-id=2
server-id=2
启动slave上的服务
步骤5:启动复制
先查看xtrabackup_binlog_info来确定binary log的位置
TheSlave$ cat /var/lib/mysql/xtrabackup_binlog_info
TheMaster-bin.000001 481
使用CHANGE MASTER,账号密码使用刚才在master中申请的账号。
TheSlave|mysql>CHANGE MASTER TO
MASTER_HOST='$masterip',
MASTER_USER='repl',
MASTER_PASSWORD='$slavepass',
MASTER_LOG_FILE='TheMaster-bin.000001',
MASTER_LOG_POS=481;
然后启动slave
TheSlave|mysql> START SLAVE;
步骤6:检查
TheSlave|mysql> SHOW SLAVE STATUS \G
...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
...
Seconds_Behind_Master: 13
...
io和SQL都要运行,Seconds_behind_master是现在slave执行的语句在master上是13秒之前的数据。这个是master和slave之间的延迟。
4.3.2 再增加一个slave
过程基本上和上面类似
1.备份slave,要带上--slave-info,带上这个选项会产生一个xtrabackup_slave_info其中的master的binary log和位置都记录在这个文件上
TheSlave$ innobackupex --user=yourDBuser --password=MaGiCiGaM /
--slave-info /path/to/backupdir
2.预备,增加了use-memory来加快预备速度
TheSlave$ innobackupex --apply-log --use-memory=2G /path/to/backupdir/$TIMESTAMP/
3.复制到是slave
rsync -avprP -e ssh /path/to/backupdir/$TIMESTAMP TheNewSlave:/path/to/mysql/datadir
4.在master上,再创建一个账号,当然也可以使用同一个账号,只要能连接上就可以
heMaster|mysql>GRANT REPLICATION SLAVE ON*.* TO'repl'@'$newslaveip'
IDENTIFIED BY'$slavepass';
5.复制配置文件,在启动的时候不启动复制,并设置server-id为3
TheNEWSlave$ scp user@TheSlave:/etc/mysql/my.cnf /etc/mysql/my.cnf
修改配置文件
Skip-slave-start
server-id=3
启动slave的服务
6.通过xtrabackup_slave_info获取master的日志名和位置
TheNEWSlave|mysql>CHANGE MASTER TO
MASTER_HOST='$masterip',
MASTER_USER='repl',
MASTER_PASSWORD='$slavepass',
MASTER_LOG_FILE='TheMaster-bin.000001',
MASTER_LOG_POS=481;
启动slave
TheSlave|mysql> START SLAVE;
4.3.3 使用复制和pt-checksum验证备份
具体看:Verifying Backups with replication and pt-checksum
4.3.4 如何创建基于GTID的Slave
具体看:How to create a new (or repair a broken) GTID based slave
4.4辅助工具手册
具体看:Auxiliary Guides