mysql备份还原

一、mysqldump

MySQL Client管理工具也叫:独立的管理实用程序,程序本身不依赖于其他程序模块。能够独立运行。这是MySQL的特性。

1.1、mysqldump原理:

1.连接MySQL数据库,设置基本session级环境变量
2.开启快照级事务(加锁)并获取当前的GTID
3.释放锁资源
4.create savepoint
5.获取表结构信息/设置字符集/备份数据
6.roll back savepoint

7.重复步骤5~6直至备份完成

savepoint原理


1.2、mysqldump相关参数:

--all-databases , -A 导出全部数据库。
--all-tablespaces , -Y 导出全部表空间。
--no-tablespaces , -y 不导出任何表空间信息。
--add-drop-database 每个数据库创建之前添加drop数据库语句。
--add-drop-table 每个数据表创建之前添加drop数据表语句。(默认为打开状态)
--add-locks 在每个表导出之前增加LOCK TABLES并且之后UNLOCK  TABLE。(默认为打开状态)
--allow-keywords 允许创建是关键词的列名字。这由表名前缀于每个列名做到。
--apply-slave-statements 在'CHANGE MASTER'前添加'STOP SLAVE',并且在导出的最后添加'START SLAVE'。
--character-sets-dir 字符集文件的目录
--comments 附加注释信息。默认为打开,可以用--skip-comments取消
--compatible 导出的数据将和其它数据库或旧版本的MySQL 相兼容。值可以为mysql323、mysql40、PG、oracle、mssql等,用逗号将它们隔开。它并不保证能完全兼容,而是尽量兼容。
--compact 导出更少的输出信息(用于调试)。去掉注释和头尾等结构。可以使用选项:--skip-add-drop-table  --skip-add-locks --skip-comments --skip-disable-keys
--complete-insert, -c 使用完整的insert语句(包含列名称)。这么做能提高插入效率,但是可能会受到max_allowed_packet参数的影响而导致插入失败。
--compress, -C 在客户端和服务器之间启用压缩传递所有信息
--create-options, -a 在CREATE TABLE语句中包括所有MySQL特性选项。(默认为打开状态)
--databases, -B 导出几个数据库。参数后面所有名字参量都被看作数据库名。
--debug 输出debug信息,用于调试。默认值为:d:t:o,/tmp/mysqldump.trace
--debug-check 检查内存和打开文件使用说明并退出。
--debug-info 输出调试信息并退出
--default-character-set 设置默认字符集,默认值为utf8
--delayed-insert 采用延时插入方式(INSERT DELAYED)导出数据
--delete-master-logs master 备份后删除日志. 这个参数将自动激活--master-data。
--disable-keys 对于每个表,用/*!40000 ALTER TABLE tbl_name DISABLE KEYS */;和/*!40000 ALTER TABLE tbl_name ENABLE KEYS */;语句引用INSERT语句。该选项只适合MyISAM表,默认为打开状态。
--dump-slave 该选项将导致主的binlog位置和文件名追加到导出数据的文件中。设置为1时,将会以CHANGE MASTER命令输出到数据文件;设置为2时,在命令前增加说明信息。该选项将会打开--lock-all-tables,除非--single-transaction被指定。该选项会自动关闭--lock-tables选项。默认值为0。
--events, -E 导出事件。
--extended-insert,  -e 使用具有多个VALUES列的INSERT语法。这样使导出文件更小,并加速导入时的速度。默认为打开状态,使用--skip-extended-insert取消选项。
--fields-terminated-by 导出文件中忽略给定字段。与--tab选项一起使用,不能用于--databases和--all-databases选项
--fields-enclosed-by 输出文件中的各个字段用给定字符包裹。与--tab选项一起使用,不能用于--databases和--all-databases选项
--fields-optionally-enclosed-by 输出文件中的各个字段用给定字符选择性包裹。与--tab选项一起使用,不能用于--databases和--all-databases选项
--fields-escaped-by 输出文件中的各个字段忽略给定字符。与--tab选项一起使用,不能用于--databases和--all-databases选项
--flush-logs 开始导出之前刷新日志。
--flush-privileges 在导出mysql数据库之后,发出一条FLUSH  PRIVILEGES 语句。为了正确恢复,该选项应该用于导出mysql数据库和依赖mysql数据库数据的任何时候。
--force ,-f 在导出过程中忽略出现的SQL错误。
--help 显示帮助信息并退出。
--hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。
--host, -h 需要导出的主机信息
--ignore-table 不导出指定表。指定忽略多个表时,需要重复多次,每次一个表。每个表必须同时指定数据库和表名。例如:--ignore-table=database.table1 --ignore-table=database.table2 ……
--include-master-host-port 在--dump-slave产生的'CHANGE  MASTER TO..'语句中增加'MASTER_HOST=<host>,MASTER_PORT=<port>'  
--insert-ignore 在插入行时使用INSERT IGNORE语句.
--lines-terminated-by 输出文件的每行用给定字符串划分。与--tab选项一起使用,不能用于--databases和--all-databases选项。
--lock-all-tables,  -x 提交请求锁定所有数据库中的所有表,以保证数据的一致性。这是一个全局读锁,并且自动关闭--single-transaction 和--lock-tables 选项。
--lock-tables,  -l 开始导出前,锁定所有表。用READ  LOCAL锁定表以允许MyISAM表并行插入。
--log-error 附加警告和错误信息到给定文件
--master-data 该选项将binlog的位置和文件名追加到输出文件中。如果为1,将会输出CHANGE MASTER 命令;如果为2,输出的CHANGE  MASTER命令前添加注释信息。该选项将打开--lock-all-tables 选项,除非--single-transaction也被指定(在这种情况下,全局读锁在开始导出时获得很短的时间;其他内容参考下面的--single-transaction选项)。该选项自动关闭--lock-tables选项。
--max_allowed_packet 服务器发送和接受的最大包长度。
--net_buffer_length TCP/IP和socket连接的缓存大小。
--no-autocommit 使用autocommit/commit 语句包裹表。
--no-create-db,  -n 只导出数据,而不添加CREATE DATABASE 语句。
--no-create-info,  -t 只导出数据,而不添加CREATE TABLE 语句。
--no-data, -d 不导出任何数据,只导出数据库表结构。
--no-set-names,  -N 等同于--skip-set-charset
--opt 等同于--add-drop-table,  --add-locks, --create-options, --quick, --extended-insert, --lock-tables,  --set-charset, --disable-keys 该选项默认开启,  可以用--skip-opt禁用.
--order-by-primary 如果存在主键,或者第一个唯一键,对每个表的记录进行排序。
--password, -p 连接数据库密码
--pipe(windows系统可用) 使用命名管道连接mysql
--port, -P 连接数据库端口号
--protocol 使用的连接协议,包括:tcp, socket, pipe, memory.
--quick, -q 不缓冲查询,直接导出到标准输出。默认为打开状态,使用--skip-quick取消该选项。
--quote-names,-Q 使用(`)引起表和列名。默认为打开状态,使用--skip-quote-names取消该选项。
--replace 使用REPLACE INTO 取代INSERT INTO.
--result-file,  -r 直接输出到指定文件中。该选项应该用在使用回车换行对(\\r\\n)换行的系统上(例如:DOS,Windows)。该选项确保只有一行被使用。
--routines, -R 导出存储过程以及自定义函数。
--set-charset 添加'SET NAMES  default_character_set'到输出文件。默认为打开状态,使用--skip-set-charset关闭选项。
--single-transaction 该选项在导出数据之前提交一个BEGIN SQL语句,BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于多版本存储引擎,仅InnoDB。本选项和--lock-tables 选项是互斥的,因为LOCK  TABLES 会使任何挂起的事务隐含提交。要想导出大表的话,应结合使用--quick 选项。
--dump-date 将导出时间添加到输出文件中。默认为打开状态,使用--skip-dump-date关闭选项。
--skip-opt 禁用–opt选项.
--socket,-S 指定连接mysql的socket文件位置,默认路径/tmp/mysql.sock
--tab,-T 为每个表在给定路径创建tab分割的文本文件。注意:仅仅用于mysqldump和mysqld服务器运行在相同机器上。
--tables ,定需要导出的表名,需要配合--databases (-B)参数一起使用
--triggers 导出触发器。该选项默认启用,用--skip-triggers禁用它。
--tz-utc 在导出顶部设置时区TIME_ZONE='+00:00' ,以保证在不同时区导出的TIMESTAMP 数据或者数据被移动其他时区时的正确性。
--user, -u 指定连接的用户名。
--verbose, --v 输出多种平台信息。
--version, -V 输出mysqldump版本信息并退出
--where, -w 只转储给定的WHERE条件选择的记录。请注意如果条件包含命令解释符专用空格或字符,一定要将条件引用起来。
--xml, -X 导出XML格式.
--plugin_dir 客户端插件的目录,用于兼容不同的插件版本。

--default_auth 客户端插件默认使用权限。

范例:

导出表结构
mysqldump --no-data --trigger=false mysql > mysql_01.sql

导出存储过程
mysqldump -f -Rtdn --trigger=false mysql > mysql_02.sql

导出触发器
mysqldump -f -tdn --trigger mysql > mysql_03.sql

导出事件
mysqldump -f -Etdn --trigger=false mysql > mysql_04.sql

导出数据
mysqldump -f --single-transaction --trigger=false -t mysql > mysql_05.sql

基于条件导出
mysqldump -t --single-transaction --where='cname="'jreey'"'  tydb tab01 > /tmp/tab01.sql

导出某张表
mysqldump -S /data1/db3316/my3316.sock -pxxxxx --default-character-set=utf8 --single-transaction --set-gtid-purged=off --databases intelligent_os --tables beacon_base_pos > /tmp/beacon_base_pos.sql

实例一:数据库逻辑导出于恢复
备份一个数据库
mysqldump -S /data1/db3307/my3307.sock --default-character-set=utf8 --master-data=2 --no-create-db --single-transaction --set-gtid-purged=off -q --extended-insert --databases zabbix > /data1/mysqlbackup/m3307-20170306-dump.sql

恢复
mysql -S /data1/db3307/my3307.sock -e "create database zabbix"
mysql -S /data1/db3307/my3307.sock < /data1/mysqlbackup/m3307-20170306-dump.sql

补充:导出导入平面文件”
select * INTO OUTFILE '/tmp/errorlog.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' from error_log;
load data infile '/tmp/errorlog.txt' into table test.error_log FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n';


二、Xtrabackup

1.1xtrabackup介绍:

xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份形式。(该产品的出现解决了业界内MySQL社区版本中物理备份的空白)xtrabackup的官方下载地址为http://www.percona.com/software/percona-xtrabackup。
Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点:

备份过程快速、可靠;
备份过程不会打断正在执行的事务;
能够基于压缩等功能节约磁盘空间和流量;
自动实现备份检验;
还原速度快;
xtrabackup包含两个主要的工具,即xtrabackup和innobackupex:

xtrabackup只能备份innodb和xtradb两种引擎的表,而不能备份myisam引擎的表;

innobackupex是一个封装了xtrabackup的Perl脚本,支持同时备份innodb和myisam,但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

1.2、xtrabackup全备份原理:

1.2.1备份原理


1.备份开始前开启一个后台检测进程,实时检测mysql redo的变化写入到xtrabackup_logfile文件
2.拷贝innodb engine涉及的ibd ibdata1数据文件(拷贝的单位是page,而不是文件)
3.数据库级只读锁(FLUSH TABLES WITH READ LOCK)
4.拷贝除innodb enging之外的数据文件(多数指MyIASM的表)
5.获取当前数据库binary log position
6.释放数据库级只读锁(释放全局级锁)
7.等待redo变化写入xtrabackup_logfile并关闭Xtrbackup进程

建议: xtrabackup工具最好只备份innodb engine的表,因为这样,就会节省掉步骤四的物理copy时间,从而大大减少,数据库锁的时间.

1.2.2、恢复原理


1.Xtrabackup内嵌的innodb实例,回放xtrabackup_log日志至备份集
2.将提交的事务信息变更应用到innodb数据/表空间,同时回滚未提交的事务(这一过程类似innodb的实例恢复)。

3.根据配置文件(my.cnf)恢复数据文件、日志文件到指定路径

1.3.1、xtrabackup增量备份原理:

"增量"备份的过程主要是通过拷贝innodb中有变更的"页"(这些变更的数据页指的是"页"的LSN大于xtrabackup_checkpoints中给定的LSN)。增量备份是基于全备的,第一次增备的数据必须要基于上一次的全备,之后的每次增备都是基于上一次的增备,最终达到一致性的增备。


1.备份开始前开启一个后台检测进程,实时检测mysql redo的变化写入到xtrabackup_logfile文件
2.拷贝上次全备份以后LSN变化的数据
3.数据库级只读锁(FLUSH TABLES WITH READ LOCK)
4.拷贝除innodb enging之外的数据文件(多数指MyIASM的表)
5.获取当前数据库binary log position
6.释放数据库级只读锁(释放全局级锁)
7.等待redo变化写入xtrabackup_logfile并关闭Xtrbackup进程


注意:innobackupex增量备份过程中的"增量"处理,其实主要是相对innodb而言,对myisam和其他存储引擎而言,它仍然是全拷贝(全备份)

1.3.2、xtrabackup增量恢复原理



1.全备份以只"重做"的方式回放xtrabackup_log日志至备份集(为后面增量数据的合并做基础)
2.依次合并增量备份至完整备份集(此时的merge可以commit、rollback)
3.Xtrabackup内嵌的innodb实例,回放xtrabackup_log日志至备份集
4.将提交的事务信息变更应用到innodb数据/表空间,同时回滚未提交的事务(这一过程类似innodb的实例恢复)。
5.根据配置文件(my.cnf)恢复数据文件、日志文件到指定路径

和全备恢复类似,也需要两步,一是数据文件的恢复,如图1,这里的数据来源由3部分组成:全备份,增量备份和xtrabackup log。图2是对未提交事务的回滚

1.4、xtrabackup文件介绍:

backup-my.cnf
备份集的配置选项文件

xtrabackup_binlog_info
当前正在使用的二进制日志文件及至备份的位置。

xtrabackup_binlog_pos_innodb
包含二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position

xtrabackup_checkpoints
备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;

xtrabackup_info
备份集概要

xtrabackup_logfile

备份过程中记录redo变化的日志文件

1.5、xtrabackup相关参数介绍:

--defaults-file=# 该选项传递给xtrabackup子进程,从指定文件读取缺省选项
--apply-log 从备份恢复
--redo-only 选项用于准备全库备份和合并处最有一个备份外的所有增量备份。该选项强制跳过rollback阶段,只进行redo。这是有必要使用的,如果备份后,要使用增量改变的。
--copy-back 从备份目录拷贝数据和索引文件到datadir目录
--move-back 移动之前的所有备份从一个备份目录到他们的原始位置
--incremental 建立一个增量备份,传递给xtrabackup的子进程。该参数可以和参数--incremental-lsn or --incremental-basedir配合使用。
--incremental-basedir=DIRECTORY 指定一个包换全库备份的目录作为增量备份的基础数据库。
--incremental-dir=DIRECTORY 指定增量备份与全库备份合并去建立一个新的全备份的目录。
--remote-host=HOSTNAME 备份到远程主机上,使用ssh
--stream=[tar|cpio(notimplemented)] 指定备份标准输出格式
--tmpdir=DIRECTORY 默认与tmpdir相同。使用—remote-host或—stream参数后,传输日志文件将存放在临时目录下
--use-memory=MB 传递给xtrabackup子进程。恢复使用内存大小
--parallel=NUMBER-OF-THREADS 选项传递给xtrabackup子进程,指定数据传输线程总数。默认为1
--compress[=LEVEL] 选项传递给xtrabackup子进程。压缩级别在0-9.1快速压缩,9最佳压缩,0不压缩。默认为1.
--compress-threads[=NUMBER] 压缩时的并行线程总数,一般来说要和--parallel保持一致
--throttle=iOS 选项传递给xtrabackup子进程,限制IO线程数量
--sleep=MS 选项传递给xtrabackup子进程。每拷贝1MB数据暂停多少MS时间
--include=REGEXP 选项传递给xtrabackup子进程。使用正则进行匹配
--databases=LIST 指定备份数据库
--tables-file=FILE 指定需要备份的表
--uncompress 选项传递给xtrabackup子进程。对压缩过的InnoDB数据文件不进行压缩
--export 仅使用于prepare选项。选项传递给xtrabackup子进程。
--slave-info 备份复制从服务端,主从信息记录在ibbackup_slave_info文件中
--no-timestamp 不在备份根目录下创建以当前时间戳为名称的新的备份目录
--ibbackup=IBBACKUP-BINARYibbackup 二进制路径
--no-lock 禁止表级锁。全部是InnoDB引擎表和不关系二进制日志位置下使用

--scpopt=SCP-OPTIONS 指定scp参数

1.6、xtrabackup安装:

1、下载地址:http://www.percona.com/software/percona-xtrabackup
2、解压缩:tar -xvf Percona-XtraBackup-2.2.5-r5027-el5-x86_64-bundle.tar
3、直接安装:rpm -ivh percona-xtrabackup-2.3.2-1.e16.x86_64.rpm
4、常见错误:
  4.1、如果报libev-4.0的错误,则需要打一个libev包:
(1,下载libev-4.包,然后:rpm -ivh libev-4.15-1.el6.rf.x86_64.rpm)
  4.2、如果报错DBD::mysql之类的错误,则需要安装相关组建
yum install perl-DBI
yum install perl-DBD-MySQL
yum install perl-Time-HiRes

yum install perl-IO-Socket-SSL

1.7、xtrabackup备份恢复实践:

1.7.1全备份数据库
innobackupex --defaults-file=/etc/mysql/my10059.cnf -S /var/wd/db10059/my10059.sock -p 123 --use-memory=256M --no-timestamp /data1/mysqlbackup/xtra_full_135156_10059
恢复数据库
innobackupex --defaults-file=/data1/mysqlbackup/xtra_full_135156_10059/backup-my.cnf --apply-log /data1/mysqlbackup/xtra_full_135156_10059
innobackupex --defaults-file=/etc/mysql/my10059.cnf --move-back /data1/mysqlbackup/xtra_full_135156_10059
chown -R mysql:mysql /var/wd/db10059/

1.7.2增量备份恢复:
全备份
innobackupex --defaults-file=/etc/my.cnf -u root -S /data1/db3306/my3306.sock -p123 --no-timestamp /data1/xtra_full_168160_3306
增量备份
innobackupex --defaults-file=/etc/my.cnf -S /data1/db3306/my3306.sock -p 123 --no-timestamp --incremental /data1/xtra_incr_168160_3306 --incremental-basedir=/data1/xtra_full_168160_3306
恢复数据库
全备份只"重做"回放xtrabackup log
innobackupex --apply-log --redo-only /data1/xtra_full_168160_3306
merge增量备份集(如果有多个,顺序merge)
innobackupex --apply-log --redo-only xtra_full_168160_3306 --incremental-dir=xtra_incr_168160_3306
完整的回放xtrabackup log
innobackupex --defaults-file=/data1/xtra_full_168160_3306/backup-my.cnf  --apply-log /data1/xtra_incr_168160_3306
innobackupex --defaults-file=/etc/my.cnf --move-back xtra_full_168160_3306
通过binlog恢复误删除数据
mysqlbinlog --start-position=423234035  16703402-bin.000561 | mysql -S /data1/db3402/my3402.sock -pxxx
mysqlbinlog 16703402-bin.000562 16703402-bin.000563 16703402-bin.000564 16703402-bin.000565 16703402-bin.000566 | mysql -S /data1/db3402/my3402.sock -pxxx
mysqlbinlog 16703402-bin.000567 16703402-bin.000568 16703402-bin.000569 16703402-bin.000570 16703402-bin.000571 16703402-bin.000572 | mysql -S /data1/db3402/my3402.sock -pxxx
mysqlbinlog 16703402-bin.000573 16703402-bin.000574 16703402-bin.000575 16703402-bin.000576 16703402-bin.000577 | mysql -S /data1/db3402/my3402.sock -pxxx
mysqlbinlog --stop-position=657188280 16703402-bin.000578 | mysql -S /data1/db3402/my3402.sock -pxxxx

1.7.3备份新特性

"流"方式压缩备份
Xtrabackup对备份的数据文件支持“流”功能,即可以将备份的数据通过STDOUT传输给tar程序进行归档,而不是默认的直接保存至某备份目录中。要使用此功能,仅需要使用--stream选项即可。
innobackupex --defaults-file=/etc/mysql/my10059.cnf -p 123 --use-memory=256M --no-timestamp --stream=tar /data1/mysqlbackup/xtra_full_gzip135156_10059 | gzip  > /data1/mysqlbackup/xtra_full_gzip135156_10059.tar.gz
"innodb page"方式压缩备份
innobackupex --defaults-file=/etc/mysql/my10059.cnf -S /var/wd/db10059/my10059.sock -p 123 --compress --use-memory=256M --no-timestamp /data1/mysqlbackup/xtra_full_135156_10059
部分备份
innobackupex --defaults-file=/etc/mysql/my10059.cnf -S /var/wd/db10059/my10059.sock -p 123 --databases='sys performance_schema mysql custom_db' --use-memory=256M --no-timestamp /data1/mysqlbackup/xtra_full_135156_10059
并行备份
innobackupex --defaults-file=/etc/mysql/my10059.cnf -S /var/wd/db10059/my10059.sock -p 123 --parallel=6 --use-memory=256M --no-timestamp /data1/mysqlbackup/xtra_full_135156_10059


阅读更多
个人分类: mysql备份
上一篇mysql表空间
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭