MySQL系列-备份恢复

MySQL备份恢复

备份恢复对于DBA是一个比较关注的点，在ORACLE中有很强大的RMAN和EXPDP，拥有很强大的功能，使数据库有备无患，在MySQL中就没有那么省心了，在MySQL中备份主要用mysqldump和precona公司开发的xtrabackup工具来实现。

一、mysqldump

mysqldump是一个逻辑备份的工具，它将数据被分成insert语句，然后恢复的时候在应用语句进行恢复。其功能类似于Oracle的exp/imp。

1.参数详解

--all-databases , -A

导出全部数据库。

mysqldump -uroot -p --all-databases

--all-tablespaces , -Y

导出全部表空间。

mysqldump -uroot -p --all-databases --all-tablespaces

--no-tablespaces , -y

不导出任何表空间信息。

mysqldump -uroot -p --all-databases --no-tablespaces

--add-drop-database

每个数据库创建之前添加drop数据库语句。

mysqldump -uroot -p --all-databases --add-drop-database

--add-drop-table

每个数据表创建之前添加drop数据表语句。(默认为打开状态，使用--skip-add-drop-table取消选项)

mysqldump -uroot -p --all-databases (默认添加drop语句)

mysqldump -uroot -p --all-databases –skip-add-drop-table (取消drop语句)

--add-locks

在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(默认为打开状态，使用--skip-add-locks取消选项)

mysqldump -uroot -p --all-databases (默认添加LOCK语句)

mysqldump -uroot -p --all-databases –skip-add-locks (取消LOCK语句)

--allow-keywords

允许创建是关键词的列名字。这由表名前缀于每个列名做到。

mysqldump -uroot -p --all-databases --allow-keywords

--apply-slave-statements

在'CHANGE MASTER'前添加'STOP SLAVE'，并且在导出的最后添加'START SLAVE'。

mysqldump -uroot -p --all-databases --apply-slave-statements

--character-sets-dir

字符集文件的目录

mysqldump -uroot -p --all-databases --character-sets-dir=/usr/local/mysql/share/mysql/charsets

--comments

附加注释信息。默认为打开，可以用--skip-comments取消

mysqldump -uroot -p --all-databases (默认记录注释)

mysqldump -uroot -p --all-databases --skip-comments (取消注释)

--compatible

导出的数据将和其它数据库或旧版本的MySQL 相兼容。值可以为ansi、mysql323、mysql40、postgresql、 oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options 等，

要使用几个值，用逗号将它们隔开。它并不保证能完全兼容，而是尽量兼容。

mysqldump -uroot -p --all-databases --compatible=ansi

--compact

导出更少的输出信息(用于调试)。去掉注释和头尾等结构。可以使用选项：--skip-add-drop-table --skip-add-locks --skip-comments --skip-disable-keys

mysqldump -uroot -p --all-databases --compact

--complete-insert, -c

使用完整的insert语句(包含列名称)。这么做能提高插入效率，但是可能会受到max_allowed_packet参数的影响而导致插入失败。

mysqldump -uroot -p --all-databases --complete-insert

--compress, -C

在客户端和服务器之间启用压缩传递所有信息

mysqldump -uroot -p --all-databases --compress

--create-options, -a

在CREATE TABLE语句中包括所有MySQL特性选项。(默认为打开状态)

mysqldump -uroot -p --all-databases

--databases, -B

导出几个数据库。参数后面所有名字参量都被看作数据库名。

mysqldump -uroot -p --databases test mysql

--debug

输出debug信息，用于调试。默认值为：d:t:o,/tmp/mysqldump.trace

mysqldump -uroot -p --all-databases --debug

mysqldump -uroot -p --all-databases --debug=” d:t:o,/tmp/debug.trace”

--debug-check

检查内存和打开文件使用说明并退出。

mysqldump -uroot -p --all-databases --debug-check

--debug-info

输出调试信息并退出

mysqldump -uroot -p --all-databases --debug-info

--default-character-set

设置默认字符集，默认值为utf8

mysqldump -uroot -p --all-databases --default-character-set=latin1

--delayed-insert

采用延时插入方式（INSERT DELAYED）导出数据

mysqldump -uroot -p --all-databases --delayed-insert

--delete-master-logs

master备份后删除日志. 这个参数将自动激活--master-data。

mysqldump -uroot -p --all-databases --delete-master-logs

--disable-keys

对于每个表，用/*!40000 ALTER TABLE tbl_name DISABLE KEYS */;和 /*!40000 ALTER TABLE tbl_name ENABLE KEYS */;语句引用INSERT语句。这样可以更快地导入dump出 来的文件，因为它是在插入所有行后创建索引的。该选项只适合MyISAM表，默认为打开状态。

mysqldump -uroot -p --all-databases

--dump-slave

该选项将导致主的binlog位置和文件名追加到导出数据的文件中。设置为1时，将会以CHANGE MASTER命令输出到数据文件；设置为2 时，在命令前增加说明信息。该选项将会打开--lock-all-tables，除非--single-transaction被指定。该选项会自动关闭 --lock-tables选项。默认值为0。

mysqldump -uroot -p --all-databases --dump-slave=1

mysqldump -uroot -p --all-databases --dump-slave=2

--events, -E

导出事件。

mysqldump -uroot -p --all-databases --events

--extended-insert, -e

使用具有多个VALUES列的INSERT语法。这样使导出文件更小，并加速导入时的速度。默认为打开状态，使用--skip-extended-insert取消选项。

mysqldump -uroot -p --all-databases

mysqldump -uroot -p --all-databases--skip-extended-insert (取消选项)

--fields-terminated-by

导出文件中忽略给定字段。与--tab选项一起使用，不能用于--databases和--all-databases选项

mysqldump -uroot -p test test --tab=”/home/mysql” --fields-terminated-by=”#”

--fields-enclosed-by

输出文件中的各个字段用给定字符包裹。与--tab选项一起使用，不能用于--databases和--all-databases选项

mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#”

--fields-optionally-enclosed-by

输出文件中的各个字段用给定字符选择性包裹。与--tab选项一起使用，不能用于--databases和--all-databases选项

mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#” --fields-optionally-enclosed-by =”#”

--fields-escaped-by

输出文件中的各个字段忽略给定字符。与--tab选项一起使用，不能用于--databases和--all-databases选项

mysqldump -uroot -p mysql user --tab=”/home/mysql” --fields-escaped-by=”#”

--flush-logs

开始导出之前刷新日志。

请注意：假如一次导出多个数据库(使用选项--databases或者--all-databases)，将会逐个数据库刷新日志。除使用 --lock-all-tables或者--master-data外。在这种情况下，日志将会被刷新一次，相应的所以表同时被锁定。因此，如果打算同时 导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs。

mysqldump -uroot -p --all-databases --flush-logs

--flush-privileges

在导出mysql数据库之后，发出一条FLUSH PRIVILEGES 语句。为了正确恢复，该选项应该用于导出mysql数据库和依赖mysql数据库数据的任何时候。

mysqldump -uroot -p --all-databases --flush-privileges

--force

在导出过程中忽略出现的SQL错误。

mysqldump -uroot -p --all-databases --force

--help

显示帮助信息并退出。

mysqldump --help

--hex-blob

使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。

mysqldump -uroot -p --all-databases --hex-blob

--host, -h

需要导出的主机信息

mysqldump -uroot -p --host=localhost --all-databases

--ignore-table

不导出指定表。指定忽略多个表时，需要重复多次，每次一个表。每个表必须同时指定数据库和表名。例如：--ignore-table=database.table1 --ignore-table=database.table2 ……

mysqldump -uroot -p --host=localhost --all-databases --ignore-table=mysql.user

--include-master-host-port

在--dump-slave产生的'CHANGE MASTER TO..'语句中增加'MASTER_HOST=<host>，MASTER_PORT=<port>'

mysqldump -uroot -p --host=localhost --all-databases --include-master-host-port

--insert-ignore

在插入行时使用INSERT IGNORE语句.

mysqldump -uroot -p --host=localhost --all-databases --insert-ignore

--lines-terminated-by

输出文件的每行用给定字符串划分。与--tab选项一起使用，不能用于--databases和--all-databases选项。

mysqldump -uroot -p --host=localhost test test --tab=”/tmp/mysql” --lines-terminated-by=”##”

--lock-all-tables, -x

提交请求锁定所有数据库中的所有表，以保证数据的一致性。这是一个全局读锁，并且自动关闭--single-transaction 和--lock-tables 选项。

mysqldump -uroot -p --host=localhost --all-databases --lock-all-tables

--lock-tables, -l

开始导出前，锁定所有表。用READ LOCAL锁定表以允许MyISAM表并行插入。对于支持事务的表例如InnoDB和BDB，--single-transaction是一个更好的选择，因为它根本不需要锁定表。

请注意当导出多个数据库时，--lock-tables分别为每个数据库锁定表。因此，该选项不能保证导出文件中的表在数据库之间的逻辑一致性。不同数据库表的导出状态可以完全不同。

mysqldump -uroot -p --host=localhost --all-databases --lock-tables

--log-error

附加警告和错误信息到给定文件

mysqldump -uroot -p --host=localhost --all-databases --log-error=/tmp/mysqldump_error_log.err

--master-data

该选项将binlog的位置和文件名追加到输出文件中。如果为1，将会输出CHANGE MASTER 命令；如果为2，输出的 CHANGE MASTER命令前添加注释信息。该选项将打开--lock-all-tables 选项，除非--single- transaction也被指定（在这种情况下，全局读锁在开始导出时获得很短的时间；其他内容参考下面的--single-transaction选 项）。该选项自动关闭--lock-tables选项。

mysqldump -uroot -p --host=localhost --all-databases --master-data=1;

mysqldump -uroot -p --host=localhost --all-databases --master-data=2;

--max_allowed_packet

服务器发送和接受的最大包长度。

mysqldump -uroot -p --host=localhost --all-databases --max_allowed_packet=10240

--net_buffer_length

TCP/IP和socket连接的缓存大小。

mysqldump -uroot -p --host=localhost --all-databases --net_buffer_length=1024

--no-autocommit

使用autocommit/commit 语句包裹表。

mysqldump -uroot -p --host=localhost --all-databases --no-autocommit

--no-create-db, -n

只导出数据，而不添加CREATE DATABASE 语句。

mysqldump -uroot -p --host=localhost --all-databases --no-create-db

--no-create-info, -t

只导出数据，而不添加CREATE TABLE 语句。

mysqldump -uroot -p --host=localhost --all-databases --no-create-info

--no-data, -d

不导出任何数据，只导出数据库表结构。

mysqldump -uroot -p --host=localhost --all-databases --no-data

--no-set-names, -N

等同于--skip-set-charset

mysqldump -uroot -p --host=localhost --all-databases --no-set-names

--opt

等同于--add-drop-table, --add-locks, --create- options, --quick, --extended-insert, --lock-tables, --set- charset, --disable-keys 该选项默认开启, 可以用--skip-opt禁用.

mysqldump -uroot -p --host=localhost --all-databases --opt

--order-by-primary

如果存在主键，或者第一个唯一键，对每个表的记录进行排序。在导出MyISAM表到InnoDB表时有效，但会使得导出工作花费很长时间。

mysqldump -uroot -p --host=localhost --all-databases --order-by-primary

--password, -p

连接数据库密码

--pipe(windows系统可用)

使用命名管道连接mysql

mysqldump -uroot -p --host=localhost --all-databases --pipe

--port, -P

连接数据库端口号

--protocol

使用的连接协议，包括：tcp, socket, pipe, memory.

mysqldump -uroot -p --host=localhost --all-databases --protocol=tcp

--quick, -q

不缓冲查询，直接导出到标准输出。默认为打开状态，使用--skip-quick取消该选项。

mysqldump -uroot -p --host=localhost --all-databases

mysqldump -uroot -p --host=localhost --all-databases --skip-quick

--quote-names,-Q

使用（`）引起表和列名。默认为打开状态，使用--skip-quote-names取消该选项。

mysqldump -uroot -p --host=localhost --all-databases

mysqldump -uroot -p --host=localhost --all-databases --skip-quote-names

--replace

使用REPLACE INTO 取代INSERT INTO.

mysqldump -uroot -p --host=localhost --all-databases --replace

--result-file, -r

直接输出到指定文件中。该选项应该用在使用回车换行对（\\r\\n）换行的系统上（例如：DOS，Windows）。该选项确保只有一行被使用。

mysqldump -uroot -p --host=localhost --all-databases --result-file=/tmp/mysqldump_result_file.txt

--routines, -R

导出存储过程以及自定义函数。

mysqldump -uroot -p --host=localhost --all-databases --routines

--set-charset

添加'SET NAMES default_character_set'到输出文件。默认为打开状态，使用--skip-set-charset关闭选项。

mysqldump -uroot -p --host=localhost --all-databases

mysqldump -uroot -p --host=localhost --all-databases --skip-set-charset

--single-transaction

该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于多版本存储 引擎，仅InnoDB。本选项和--lock-tables 选项是互斥的，因为LOCK TABLES 会使任何挂起的事务隐含提交。要想导出大表的 话，应结合使用--quick 选项。

mysqldump -uroot -p --host=localhost --all-databases --single-transaction

--dump-date

将导出时间添加到输出文件中。默认为打开状态，使用--skip-dump-date关闭选项。

mysqldump -uroot -p --host=localhost --all-databases

mysqldump -uroot -p --host=localhost --all-databases --skip-dump-date

--skip-opt

禁用–opt选项.

mysqldump -uroot -p --host=localhost --all-databases --skip-opt

--socket,-S

指定连接mysql的socket文件位置，默认路径/tmp/mysql.sock

mysqldump -uroot -p --host=localhost --all-databases --socket=/tmp/mysqld.sock

--tab,-T

为每个表在给定路径创建tab分割的文本文件。注意：仅仅用于mysqldump和mysqld服务器运行在相同机器上。

mysqldump -uroot -p --host=localhost test test --tab="/home/mysql"

--tables

覆盖--databases (-B)参数，指定需要导出的表名。

mysqldump -uroot -p --host=localhost --databases test --tables test

--triggers

导出触发器。该选项默认启用，用--skip-triggers禁用它。

mysqldump -uroot -p --host=localhost --all-databases --triggers

--tz-utc

在导出顶部设置时区TIME_ZONE='+00:00' ，以保证在不同时区导出的TIMESTAMP 数据或者数据被移动其他时区时的正确性。

mysqldump -uroot -p --host=localhost --all-databases --tz-utc

--user, -u

指定连接的用户名。

--verbose, --v

输出多种平台信息。

--version, -V

输出mysqldump版本信息并退出

--where, -w

只转储给定的WHERE条件选择的记录。请注意如果条件包含命令解释符专用空格或字符，一定要将条件引用起来。

mysqldump -uroot -p --host=localhost --all-databases --where=” user=’root’”

--xml, -X

导出XML格式.

mysqldump -uroot -p --host=localhost --all-databases --xml

--plugin_dir

客户端插件的目录，用于兼容不同的插件版本。

mysqldump -uroot -p --host=localhost --all-databases --plugin_dir=”/usr/local/lib/plugin”

--default_auth

客户端插件默认使用权限。

mysqldump -uroot -p --host=localhost --all-databases --default-auth=”/usr/local/lib/plugin/<PLUGIN>”

2.备份语句

mysqldump -uroot -pmysql123 -t dsideal_db t_resource_info --where="res_type=1 and group_id=1 and ts>2015122115005600474 ORDER BY TS DESC LIMIT 1" --triggers=false --replace > /usr/local/info.sql

3.恢复语句

--导入表

mysql -uroot -pmysql123 t_resource_info < /usr/local/info.sql

或

source /usr/local/info.sql

--导入数据库库

mysql -uroot -pmysql123 < /usr/local/info.sql

二、xtrabackup

xtrabackup是precona公司开发的一款物理备份工具，可以通过此工具实现全量+增量备份的目的，虽然功能上不如Oracle RMAN功能丰富，但足以满足日常需求。

xtrabackup主要包含两个工具，xtrabackup和innobackupex

xtrabackup只能备份innodb和xtradb两种引擎的表，不能备份MyISAM引擎的表

innobackupex封装了xtrabackup的Perl脚本支持innodb和MyISAM引擎表的备份，不过在MyISAM表中需要加一个全局读锁并且不支持增量备份。

1、备份原理

1.全量备份

innobackupex的备份过程大致是这样的：

①备份开始时开启一个后台检测进程，实时检测mysql redo的变化，一旦发现redo中有新的日志写入，立刻将日志记入后台日志文件xtrabackup_log中。

②复制innodb的数据文件和系统表空间文件ibdata1。

③复制结束后，执行行flush tables with read lock操作。

④复制.frm， MYI， MYD，等文件（执行行flush tableswith read lock的目的是为了防止数据表发生DDL操作，并且在这一时刻获得binlog的位置）

⑤最后会发出unlock tables，把表设置为可读可写状态

⑥最终停止xtrabackup_log。

2.增量备份

innobackupex增量备份过程中的"增量"处理，其实主要是相对innodb而言，对myisam和其他存储引擎而言，它仍然是全拷贝(全备份)

"增量"备份的过程主要是通过拷贝innodb中有变更的"页"（这些变更的数据页指的是"页"的LSN大于xtrabackup_checkpoints中给定的LSN）。增量备份是基于全备的，第一次增备的数据必须要基于上一次的全备，之后的每次增备都是基于上一次的增备，最终达到一致性的增备。增量备份的过程如下，和全备的过程很类似，区别仅在第2步。

3.全备恢复

这一阶段会启动xtrabackup内嵌的innodb实例，回放xtrabackup日志xtrabackup_log，将提交的事务信息变更应用到innodb数据/表空间，同时回滚未提交的事务(这一过程类似innodb的实例例恢复）

4.增量恢复

和全备恢复类似，也需要两步，一是数据文件的恢复，这里的数据来源由3部分组成：全备份，增量备份和xtrabackup log。二是对未提交事务的回滚。

2、xtrabackup文件

backup-my.cnf

改文件包含了备份所需要的my.cnf的选项，如innodb_data_file_path innodb_log_file_in_group innodb_log_file_size等，在恢复过程中innobackupex会依赖改文件的选项。

xtrabackup_checkpoints

改文件记录备份的类型（full-backuped,incremental）备份状态以及备份信息的lsn信息，增量备份依赖该LSN信息。

xtrabackup_binlog_info

改文件记录数据库备份时候的二进制文件信息和位置，这是备份后数据库的位置，可用来搭建主从。

xtrabackup_logfile

该文件是--apply-log操作的时候所需要的的数据，如果改文件较大则--apply-log需要的时间会比较长。

3、xtrabackup备份恢复

1.安装依赖包

yum install perl-DBI

yum install perl-DBD-MySQL

yum -y localinstall libev-4.15-3.el7.x86_64.rpm

yum -y localinstall percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm

2.全量备份恢复

备份

innobackupex --defaults-file=/etc/my3306.cnf --no-timestamp --user root --port 3306 /data/xtrabackup/full_20210111.bak

恢复

①prepare阶段，恢复过程先应用日志

innobackupex --defaults-file=/etc/my3306.cnf --user root --port 3306 --apply-log/data/xtrabackup/full_20210111.bak

②恢复阶段

关闭mysql

mysqladmin shutdown -uroot -p

替换数据文件并授权

cp -r /data/xtrabackup/full_20210111.bak /home/mysql3306/mysql3306

mv mysql mysql.old

mv full_20210111.bak mysql

chown -R mysql:mysql /home/mysql3306/mysql3306

3.增量备份恢复

备份

①首先需要全备

innobackupex --defaults-file=/etc/my3306.cnf --no-timestamp --user root --port 3306 /data/xtrabackup/all-20210112.bak

②增备1

innobackupex --defaults-file=/etc/my3306.cnf --no-timestamp --user root --port 3306 --incremental

--incremental-basedir=/data/xtrabackup/all-20210112.bak /data/xtrabackup/inc-20210113.bak

③增备2

innobackupex --defaults-file=/etc/my3306.cnf --no-timestamp --user root --password root -H

192.168.60.22 -P 3306 --incremental --incremental-basedir=/data/xtrabackup/inc-20210113.bak

/data/xtrabackup/inc-20210114.bak

应用增量量备份日志

innobackupex --defaults-file=/etc/my3306.cnf --user root --password root -H 192.168.60.22 -P 3306 --

apply-log --redo-only /data/xtrabackup/all-20210112.bak

innobackupex --defaults-file=/etc/my3306.cnf --user root --password root -H 192.168.60.22 -P 3306 --

apply-log --redo-only /data/xtrabackup/all-20210112.bak --incremental-dir=/data/xtrabackup/inc-

20210113.bak

innobackupex --defaults-file=/etc/my3306.cnf --user root --password root -H 192.168.60.22 -P 3306 --

apply-log --redo-only /data/xtrabackup/all-20210112.bak --incremental-dir=/data/xtrabackup/inc-

20210114.bak

innobackupex --defaults-file=/etc/my3306.cnf --user root --password root -H 192.168.60.22 -P 3306 --

apply-log /data/xtrabackup/all-20210112.bak

关闭mysql

mysqladmin shutdown -uroot -p

替换数据文件并授权

cp -r /data/xtrabackup/all-20210112.bak /home/mysql3306/mysql3306

mv mysql mysql.old

mv all-20210112.bak mysql

chown -R mysql:mysql /home/mysql3306/mysql3306