mysql整备_【mysql】使用xtrabackup在线增量备份及恢复数据库

一、Percona Xtrabackup 简介

1、Xtrabackup  bin目录文件 介绍

1)innobackupex

innobackupex 是xtrabackup的一个符号链接 . innobackupex still supports all features and syntax as 2.2 version did, but is now deprecated and will be removed in next major release.

2)xtrabackup

一个由C编译而来的二进制文件，可以整备MySQL database instance with MyISAM, InnoDB, and XtraDB tables

3)xbcrypt

用来加密或解密备份的数据

4)xbstream

用来解压或压缩xbstream格式的压缩文件

5)xbcloud

utility used for downloading and uploading full or part of xbstream archive from/to cloud.

2、Percona XtraBackup info

是开源免费的MySQL数据库热备份软件，它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁)

you can achieve the following benefits: (https://www.percona.com/doc/percona-xtrabackup/2.3/intro.html)

Backups that complete quickly and reliably

Uninterrupted transaction processing during backups

Savings on disk space and network bandwidth

Automatic backup verification

Higher uptime due to faster restore time

features

Create hot InnoDB backups without pausing your database

Make incremental backups of MySQL

Stream compressed MySQL backups to another server

Move tables between MySQL servers on-line

Create new MySQL replication slaves easily

Backup MySQL without adding load to the server

无需停止数据库进行InnoDB热备

增量备份MySQL

流压缩到传输到其它服务器

在线移动表

能比较容易地创建主从同步

备份MySQL时不会增大服务器负载

3、Xtrabackup工具支持对InnoDB存储引擎的增量备份，工作原理如下

1、在InnoDB内部会维护一个redo/undo日志文件，也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时，InnoDB会检查数据文件和事务日志，并执行两个步骤：它应用(前滚)已经提交的事务日志到数据文件，并将修改过但没有提交的数据进行回滚操作。

2、Xtrabackup在启动时会记住log sequence number(LSN)，并且复制所有的数据文件。复制过程需要一些时间，所以这期间如果数据文件有改动，那么将会使数据库处于一个不同的时间点。这时，xtrabackup会运行一个后台进程，用于监视事务日志，并从事务日志复制最新的修改。Xtrabackup必须持续的做这个操作，是因为事务日志是会轮转重复的写入，并且事务日志可以被重用。所以xtrabackup自启动开始，就不停的将事务日志中每个数据文件的修改都记录下来。

3、上面就是xtrabackup的备份过程。接下来是准备(prepare)过程，在这个过程中，xtrabackup使用之前复制的事务日志，对各个数据文件执行灾难恢复(就像mysql刚启动时要做的一样)。当这个过程结束后，数据库就可以做恢复还原了，这个过程在xtrabackup的编译二进制程序中实现。程序innobackupex可以允许我们备份MyISAM表和frm文件从而增加了便捷和功能。Innobackupex会启动xtrabackup，直到xtrabackup复制数据文件后，然后执行FLUSH TABLES WITH READ LOCK来阻止新的写入进来并把MyISAM表数据刷到硬盘上，之后复制MyISAM数据文件，最后释放锁。

4、备份MyISAM和InnoDB表最终会处于一致，在准备(prepare)过程结束后，InnoDB表数据已经前滚到整个备份结束的点，而不是回滚到xtrabackup刚开始时的点。这个时间点与执行FLUSH TABLES WITH READ LOCK的时间点相同，所以myisam表数据与InnoDB表数据是同步的。类似oracle的，InnoDB的prepare过程可以称为recover(恢复)，myisam的数据复制过程可以称为restore(还原)。

5、Xtrabackup 和 innobackupex这两个工具都提供了许多前文没有提到的功能特点。手册上有对各个功能都有详细的介绍。简单介绍下，这些工具提供了如流(streaming)备份，增量(incremental)备份等，通过复制数据文件，复制日志文件和提交日志到数据文件(前滚)实现了各种复合备份方式。

二、安装xtrabackup

1、安装

yum -y install perl perl-devel libaio libaio-devel

yum -y install perl-DBI perl-DBD-MySQL perl-TermReadKey perl-devel perl-Time-HiRes

cd /usr/local/src

wget -c https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.2/ \

binary/tarball/percona-xtrabackup-2.3.2-Linux-x86_64.tar.gz

tar -zxf percona-xtrabackup-2.3.2-Linux-x86_64.tar.gz

cd percona-xtrabackup-2.3.2-Linux-x86_64/

mkdir /usr/local/xtrabackup

mv bin /usr/local/xtrabackup/

ln -s /usr/local/xtrabackup/bin/* /usr/bin/

2、修改my.cnf

[mysqld]

datadir=/var/lib/mysql

innodb_data_home_dir = /data/mysql/ibdata

innodb_log_group_home_dir = /data/mysql/iblogs

innodb_data_file_path=ibdata1:10M;ibdata2:10M:autoextend

innodb_log_files_in_group = 2

innodb_log_file_size = 1G

三、全部数据库备份与还原

1、备份

//全部数据库备份

innobackupex --user=root --password=123456 /data/backup/

//单数据库备份

innobackupex --user=root --password=123456 --database=backup_test /data/backup/

//多库

innobackupex--user=root --password=123456 --include='dba.*|dbb.*' /data/backup/

//多表

innobackupex --user=root --password=123456 --include='dba.tablea|dbb.tableb' /data/backup/

//数据库备份并压缩

log=zztx01_`date +%F_%H-%M-%S`.log

db=zztx01_`date +%F_%H-%M-%S`.tar.gz

innobackupex --user=root --stream=tar /data/backup 2>/data/backup/$log | gzip 1> /data/backup/$db

//不过注意解压需要手动进行，并加入 -i 的参数，否则无法解压出所有文件,疑惑了好长时间

//如果有错误可以加上 --defaults-file=/etc/my.cnf

2、还原

service mysqld stop

mv /data/mysql /data/mysql_bak && mkdir -p /data/mysql

//--apply-log选项的命令是准备在一个备份上启动mysql服务

innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log /data/backup/2015-09-18_16-35-12

//--copy-back 选项的命令从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置

innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /data/backup/2015-09-18_16-35-12

chown -R mysql.mysql /data/mysq

service mysqld start

四、增量备份与还原

1、创建测试数据库和表

create database backup_test; //创建库

CREATE TABLE `backup` ( //创建表

`id` int(11) NOT NULL AUTO_INCREMENT ,

`name` varchar(20) NOT NULL DEFAULT '' ,

`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ,

`del` tinyint(1) NOT NULL DEFAULT '0',

PRIMARY KEY (`id`)

) ENGINE=myisam DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

2、增量备份

#--incremental：增量备份的文件夹

#--incremental-dir：针对哪个做增量备份

//第一次备份

mysql> INSERT INTO backup (name) VALUES ('xx'),('xxxx'); //插入数据

innobackupex --user=root --incremental-basedir=/data/backup/2015-09-18_16-35-12 --incremental /data/backup/

//再次备份

mysql> INSERT INTO backup (name) VALUES ('test'),('testd'); //在插入数据

innobackupex --user=root --incremental-basedir=/data/backup/2015-09-18_18-05-20 --incremental /data/backup/

3、查看增量备份记录文件

[root@localhost 2015-09-18_16-35-12]# cat xtrabackup_checkpoints //全备目录下的文件

backup_type = full-prepared

from_lsn = 0 //全备起始为0

to_lsn = 23853959

last_lsn = 23853959

compact = 0

[root@localhost 2015-09-18_18-05-20]# cat xtrabackup_checkpoints //第一次增量备份目录下的文件

backup_type = incremental

from_lsn = 23853959

to_lsn = 23854112

last_lsn = 23854112

compact = 0

[root@localhost 2015-09-18_18-11-43]# cat xtrabackup_checkpoints //第二次增量备份目录下的文件

backup_type = incremental

from_lsn = 23854112

to_lsn = 23854712

last_lsn = 23854712

compact = 0

增量备份做完后，把backup_test这个数据库删除掉，drop database backup_test;这样可以对比还原后

4、增量还原

分为两个步骤

a.prepare

innobackupex --apply-log /path/to/BACKUP-DIR

此时数据可以被程序访问使用；可使用—use-memory选项指定所用内存以加快进度，默认100M；

b.recover

innobackupex --copy-back /path/to/BACKUP-DIR

从my.cnf读取datadir/innodb_data_home_dir/innodb_data_file_path等变量

先复制MyISAM表，然后是innodb表，最后为logfile；--data-dir目录必须为空

开始合并

innobackupex --apply-log --redo-only /data/backup/2015-09-18_16-35-12

innobackupex --apply-log --redo-only --incremental /data/backup/2015-09-18_16-35-12 --incremental-dir=/data/backup/2015-09-18_18-05-20

innobackupex --apply-log --redo-only --incremental /data/backup/2015-09-18_16-35-12 --incremental-dir=/data/backup/2015-09-18_18-11-43

#/data/backup/2015-09-18_16-35-12 全备份目录

#/data/backup/2015-09-18_18-05-20 第一次增量备份产生的目录

#/data/backup/2015-09-18_18-11-43 第二次增量备份产生的目录

恢复数据

service mysqld stop

innobackupex --copy-back /data/backup/2015-09-18_16-35-12

service mysqld start

五、innobackup 常用参数说明

--defaults-file

同xtrabackup的--defaults-file参数

--apply-log

对xtrabackup的--prepare参数的封装

--copy-back

做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ；

--remote-host=HOSTNAME

通过ssh将备份数据存储到进程服务器上；

--stream=[tar]

备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。

在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。

--tmpdir=DIRECTORY

当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir

--redo-only --apply-log组,

强制备份日志时只redo ,跳过rollback。这在做增量备份时非常必要。

--use-memory=#

该参数在prepare的时候使用，控制prepare时innodb实例使用的内存量

--throttle=IOS

同xtrabackup的--throttle参数

--sleep=是给ibbackup使用的，指定每备份1M数据，过程停止拷贝多少毫秒，也是为了在备份时尽量减小对正常业务的影响，具体可以查看ibbackup的手册 ；

--compress[=LEVEL]

对备份数据迚行压缩，仅支持ibbackup，xtrabackup还没有实现；

--include=REGEXP

对 xtrabackup参数--tables的封装，也支持ibbackup。备份包含的库表，例如：--include="test.*"，意思是要备份 test库中所有的表。如果需要全备份，则省略这个参数；如果需要备份test库下的2个表：test1和test2,则写 成：--include="test.test1|test.test2"。也可以使用通配符，如：--include="test.test*"。

--databases=LIST

列出需要备份的databases，如果没有指定该参数，所有包含MyISAM和InnoDB表的database都会被备份；

--uncompress

解压备份的数据文件，支持ibbackup，xtrabackup还没有实现该功能；

--slave-info,

备 份从库, 加上--slave-info备份目录下会多生成一个xtrabackup_slave_info 文件, 这里会保存主日志文件以及偏移, 文件内容类似于:CHANGE MASTER TO MASTER_LOG_FILE='', MASTER_LOG_POS=0

--socket=SOCKET

指定mysql.sock所在位置，以便备份进程登录mysql.

参考

http://www.percona.com/doc/percona-xtrabackup/2.1/

MySQL 利用xtrabackup进行增量备份详细过程汇总 (转)

Xtrabackup下载.安装以及全量备份请参考:http://blog.itpub.net/26230597/viewspace-1465772/ 1,创建mysql备份用户 mysql -uroo ...

mysql导入导出数据，备份，恢复数据

MYSQL 实现导入数据 .备份和恢复数据库 1.使用msql命令导入数据 # mysql -uroot -p 需要选择一个数据库 < runoob.sql #mysql -u username ...

xtrabackup之Innobackupex增量备份及恢复

演示增量备份 #启动一个全备 innobackupex \ > --defaults-/my.cnf \ > --host=127.0.0.1 \ > --user=xtrabk \ ...

MySQL备份与恢复之percona-xtrabackup实现增量备份及恢复 实例

innobackupex 的使用方法1.完全备份 参数一是完全备份地址 完全备份到/data/mysql/back_up/all_testdb_20140612 目录下innobackupex --u ...

Xtrabackup每周增量备份脚本程序

Xtrabackup每周增量备份脚本程序(含附件)   程序描述 本程序是一个对percona xtrabackup使用的脚本,它完成了MySQL每周的备份. 程序结构 此程序包含了4个目录(bin. ...

MySQL和MSSQL差异&lpar;增量&rpar;备份的原理

MySQL和MSSQL差异(增量)备份的原理 对于真正的增量备份来说,只需要记录当前每页最后的检查点的LSN,如果大于之前全备时的LSN,则备份该页面,否则不用备份 这大大加快了备份速度和恢复时间,同 ...

ceph中rbd的增量备份和恢复

ceph中rbd的增量备份和恢复 ceph的文档地址:Ceph Documentation ​ 在调研OpenStack中虚机的备份和恢复时,发现OpenStack和ceph紧密结合,使用ceph做O ...

13-MySQL DBA笔记-迁移、升级、备份、恢复数据库

第13章 迁移.升级.备份.恢复数据库本章将为读者讲述数据库的各种维护任务:迁移.升级.备份和恢复.因为每个人熟悉的工具不同,其对应的迁移.升级.备份和恢复的方式也都略有不同,本书将尽量对笔者认为最具 ...

备份、恢复数据库(Dos命令提示符下)&lowbar;数据库安装工具&lowbar;连载&lowbar;1

Dos命令提示符下: 备份.恢复数据库,是不是很简单啊,是的,当你20年不碰MS SQL,是不是又忘记了呢,答案也许也是吧,^_^虽然在程序中执行SQL代码时,很讨厌那个Go,正如MySQL中那个分号 ...

随机推荐

Android之简单了解Bitmap显示图片及缓存图片

昨天我们学了如何连接网络,今天我们就学习一下如何从把网上图片显示到项目中 今天主要用到的是Bitmap 类 Bitmap是Android系统中的图像处理的最重要类之一.用它可以获取图像文件信息,进行图 ...

Delphi7下SuperObject的JSON使用方法

uses superobject; procedure TForm1.FormCreate(Sender: TObject); var aJson: ISuperObject; aSuperArray ...

A&plus;B Again(在某个数中找大于m的最小约数)

A+B Again Accepted : 15   Submit : 243 Time Limit : 1000 MS   Memory Limit : 65536 KB  题目描述 上次趣味赛小明的 ...

&lt&semi;译&gt&semi;Selenium Python Bindings 4 - Locating Eelements

有各种不同的策略来定位页面中的元素.你可以使用最合适定位方式用于你的用例.Selenium提供了以下方法来定位页面中的元素: find_element_by_id find_element_by_na ...

设计模式&lowbar;Flyweight&lowbar;享元模式

形象例子: 每天跟MM发短信,手指都累死了,最近买了个新手机,可以把一些常用的句子存在手机里,要用的时候,直接拿出来,在前面加上MM的名字就可以发送了,再不用一个字一个字敲了.共享的句子就是Flywe ...

【转】谈Objective-c block的实现

本文转自http://blog.devtang.com/blog/2013/07/28/a-look-inside-blocks/,如有侵权,请联系我删除 前言 这里有关于block的5道测试题,建议 ...

C&num;与C&plus;&plus;函数调用

在 上篇文章重点讲解数据类型的转换,在此基础上再讲解函数调用. 1.函数调用 c++中函数 INF_NET_API INF_RESULT WINAPI INF_NET_GetList(long lLo ...

【iOS之runtime、runloop】

什么是runtime runtime就是运行时,是系统在运行时的一些动态机制,它是一套底层的API,我们平时编写的OC代码,最终会转换为runtime实现. runtime的作用 可以利用runtim ...

mock server相关解决方案

前后端分离之后 前后端分离后, 大家从此进入了所谓的并行开发时代. 一旦完成前后端的(边界)分工, 大家就可以各司其职了. 前端在与后端交互时, 要想有效地提高工作效率, 后端的接口文档就是重中之重了 ...

我遇到的response&period;sendRedirect跳转不了问题

response.sendRedirect不跳转的原因可以归纳为(其中第三点是我遇到的问题): 前人经验: 在使用response.sendRedirect时,前面不能有HTML输出: 在respon ...