（4.12）mysql备份还原——mysql逻辑备份之mysqldump

最新推荐文章于 2024-05-24 14:48:16 发布

weixin_30514745

最新推荐文章于 2024-05-24 14:48:16 发布

阅读量121

点赞数

文章标签：数据库网络 awk

原文链接：http://www.cnblogs.com/gered/p/10817309.html

版权

关键词：mysql逻辑备份介绍，mysqldump,mysqldump最佳实践

1、mysql逻辑备份介绍

2、逻辑备份工具

3、mysqldump工具介绍使用

4、mysqldump常用参数释义

5、mysqldump演示（基本用法）

6、大致实现原理（深入了解mysqldump原理）

7、mysqldump最佳实践（附加导入导出用户权限）

8、mysqldump生产环境自动化备份案例

9、我的相关文章：https://www.cnblogs.com/gered/p/9721696.html

正文

1、mysql逻辑备份介绍

　　【1.1】备份内容：数据库的结构定义语句+数据内容的插入语句，备份出来的文件可以编辑

　　【1.2】使用场景：数据量较少的库，比较适合100G数据量以内的

　　逻辑备份的特点

　　　　（1）sql语句组成的文件，可以编辑截取部分单独使用。

　　　　（2）备份文件比物理文件小

　　　　（3）可以细化到表/表的内容

　　　　（4）速度慢

　　　　（5）可以跨平台恢复/迁移

2、逻辑备份工具

　　【1.1】mysqldump（单线程）、mysqlpump（多线程，5.7以后才有）：官方mysql备份工具

　　【1.2】mydumper：开源的基于mysqldump的一个优化，多线程，速度介于两者之间：主要用于Mariadb、Percona、官方的mysql

3、mysqldump工具介绍使用

　　备份可以包含的内容：

　　create database;　　create tables;　　insert into;

　　store procedure;　　trigger;　　function;　　events;

4、mysqldump常用参数释义

【4.1】服务器相关的常用参数

【4.1.1】mysqldump客户端读取
　　　　　　读取my.cnf下的 [client] 以及 [mysqldump]　　
【4.2.2】基本形式
　　　　　　mysqldump -uroot -p'123456' -h192.168.1.105 -P3306
　　　　　　-u --user
　　　　　　-p --password
　　　　　　-h --host
　　　　　　-P --port
　　　　　　--protocol=tcp,socket,momory
　　　　　　--max-allowed-packet
　　　　　　--net-buffer-length

【4.2】备份内容的常用参数

#可以备份
#所有的库、几个库、一个库、一个表、几个表、一个表的内容、存储过程、函数、触发器、调度事件

-A --all -databases
-B --databases  #-B test test1备份test库和test1库
-y --all-tablespaces #备份所有表空间

-n --no-create-db #不导出数据库创建语句
-t --no-create-info #不到处表结构创建语句
-d --no-data #不导出数据，只导出表结构

-R --routines #导出存储过程和函数，默认不导出
--triggers #导出触发器，默认导出
--skip-triggers #不导出触发器
-E --events #导出调度事件，默认不导出

--ignore-table #不导出某个库的某个表，或者不导出几个表test.test101
-w --where='' #导出满足条件的内容数据

【4.3】备份与实务和锁相关的选项

【4.3.1】--single-transaction （实际导出，就是给正在导出的锁+全局X锁，然后导完之后再解锁）

#--single-transaction参数的作用，设置事务的隔离级别为可重复读，即REPEATABLE READ

#可以得到一致性的导出结果。只针对Innodb，导出过程中不允许运行表的DDL。因为实务持有表的metadata lock的共享锁，而DDL会申请元数据库的排它锁（X锁），所以会阻塞。
#--single-transaction还会关掉你默认的--lock-tables选项（即不加锁），因为mysqldump默认会打开一个lock-table锁住所有的表。那么只能加--master-data才能加锁。


【4.3.2】--lock-tables
#默认打开的，在这个锁表时导一个锁一个，导完解锁。

【4.3.3】--lock-all-tables
#会把所有的表都给锁了，慢慢导，导完解锁。【1】【2】【3】互斥。

【4.3.4】--flush-logs
#导出数据时，刷新二进制日志，达到一致性导出。

【4.3.5】--flush-privileges
#导出权限语句到备份文件

【4.3.6】--master-data
#有3个值（0,1,2）
    （0）：默认是0，不写入binlog日志记录
    （1）：在dump出来的文件中有这么个语句。change master to ...pos 等记录binlog文件及终点。
    （2）：#change master to ...pos 等记录binlog文件及终点。（注释掉）
【4.3.7】综合使用一下
mysqldump -uroot -p --single-transaction --master-data=2 --fulsh-privileges --routines

【4.4】与复制相关的参数

【4.4.1】--master-data

#有3个值（0,1,2）
    （0）：默认是0，不写入binlog日志记录
    （1）：在dump出来的文件中有这么个语句。change master to ...pos 等记录binlog文件及终点。
    （2）：#change master to ...pos 等记录binlog文件及终点。（注释掉）

【4.4.2】--dump-slave
#从库上使用的，和--master-data参数一样，是为了slave建立下一级的slave

【4.4.3】--apply-slave-statements
#和master-data=1类似

【4.4.4】--include-master-host-port
#结合--dump-slave=1/2在导出中加入host和port

【4.4.5】--delete-master-logs
#在备份后，删除主库的二进制日志，默认打开--master-data=2

【4.4.6】--set-gtid-purged
#清理gtid，用于在gtid环境下使用

【4.5】与字符集相关的选项

【4.5.1】--set-charset
#默认开启，--set-charset=1/0，是否开启字符集

【4.5.2】--default-character-set
#指定是什么字符集，utf8,gbk,utf8mb4

【4.5.3】-N --no-set-names
#关闭--set-charset

【4.6】控制是否生成DDL语句的选项

【4.6.1】--add-drop-database
#如果存在则删除数据库，并且有创建数据库语句，不存在直接新建

【4.6.2】--add-drop-table
#默认打开，可以使用--skip-add-drop-table 禁用

【4.6.3】--add-drop-trigger
#如果存在则删除，然后就新建，不存在直接新建

【4.6.4】-n --no-create-db
#不生成创建数据库语句

【4.6.5】-t --no-create-info
#不生成创建表结构语句

【4.7】其他参数

　　　　【1】--default-character-set=utf8    #默认使用该字符集导出　　【2】-B　　#指定数据库，会加上建库与库使用语句　　 

　　　　【3】--compact　　#减少备份文件垃圾信息（但会丢数据，生产不可用）　　【4】数据库名|gzip　　#压缩备份文件

　　　　【5】-d  　　#只备份表结构　　　　【6】-t　　#只备份表数据　　【7】 -A　　#all-databases的意思，备份所有数据库（以及表、用户等等所有数据）

　　　　【8】-F　　#重新生成binlog日志　　【9】-R　　#备份存储过程、触发器　　【10】-f --force #强制执行，忽略单个错误
　　
　　　　【11】--log-error=/tmp/bak_errlog.log #指定导出过程中的错误日志　　【12】--compatible=(oracle/mssql/postgresql) #导出兼容其他数据库的备份

5、mysqldump演示（基本用法）

#如果，不加--database 或者-B ，则不会有创建数据库相关语句

【5.1】导出所有的数据库（库+表结构+数据）
mysqldump -uroot -proot -A >all_db_data.bak
mysqldump -uroot -proot --all-databases >all_db_data.bak

【5.2】导出所有的数据库（库+表结构，不包含数据）
mysqldump -uroot -proot -A --no-data >/backup/all_db.bak

【5.3】导出某一个表（结构+数据，库表：test.test1）
mysqldump -uroot -proot test test1 > test_test1.bak

【5.4】导出某一个表（只有表结构，没有数据）
mysqldump -uroot -proot --no-data test test1 > test_test1.bak

【5.5】导出多个表（结构+数据）
mysqldump -uroot -proot test test1 test2 >test_2tab.bak

【5.6】不导出表结构（只有数据，没有结构）
mysqldump -uroot -proot --no-create-info test test1>test1_data.bak

【5.7】导出单个数据库（结构+数据）
mysqldump -uroot -proot --database test > test_db.bak

【5.8】导出多个数据库（结构数据）
mysqldump -uroot -proot --database test testdb2 >test_2db.bak

【5.9】导出单个数据库（只有结构，没有数据）
mysqldump -uroot -proot --no-data --database test >test_db.bak

【5.10】导出单个数据库（只有数据，没有结构）
mysqldump -uroot -proot --no-create-db --no-create-info --database test >test_data.bak

【5.11】导出单个数据库（排除某个表）
mysqldump -uroot -proot --database test --ignore-table=test.test1 >test_no_tab_test1.bak

【5.12】导出某个表的某一些数据（根据条件导出数据）
mysqldump -uroot -proot test test1 --where="id>10" >test_where.bak

【5.13】导出所有的数据库（库+表结构+数据+函数+存储过程+调度事件）
mysqldump -uroot -proot -R -E --all-databases >all_object_db.bak

【5.14】导出所有数据库（数据一致+导出权限+刷新日志+函数及存储过程）
mysqldump -uroot -proot --single-transaction --master-data=2 --fulsh-logs --flush-privileges --routines --all-databases > all_data.bak

6、大致实现原理（深入了解mysqldump原理）

　　【6.1】连接mysql

　　【6.2】初始化信息

　　【6.3】刷新表（加一个全局共享锁，很快，是一个短暂的全局共享锁）

　　【6.4】记录偏移量

　　【6.5】开启事务（一致性快照）

　　【6.6】记录偏移量

　　【6.7】解锁表

　　【6.8】查看要备份的表

　　【6.9】开始备份所有的数据

　　【6.10】分析mysqldump事务和锁的原理

【6.10.1】--lock-tables
#会在整个导出过程中加lock read local所有的表。innodb别人只能读，myisam可以读和插入，但不能update

【6.10.2】--lock-all-tables
#请求一个全局的读锁，别人只能读。保证数据的一致性，备份完后会话断开，自动解锁。

【6.10.3】--single-transaction
#单独使用，不会有任何锁，但是会对备份的表有元数据共享锁（即不能DDL）

【6.10.4】--single-transaction 和 --master-data一起用
#结合使用时，在开始的使用会短暂的请求一个全局的读锁，会组织所有表的写入操作。

7、mysqldump最佳实践

【7.1】全备（不锁表）

【innodb】mysqldump -uroot -proot --single-transaction --master-data=2 --flush-logs --flush-privileges --routines --all-databases > all_data.bak
【myisam】mysqldump -uroot -proot --lock-all-tables --master-data=2 --flush-logs --flush-privileges --routines --all-databases > all_data.bak
PS：上面的默认不会备份系统数据库
【备份系统数据库innodb】mysqldump -uroot -proot --skip-lock-tables --databases performance_schema information_schema sys >system_db.bak
#加上--flush-privileges 其实就是备份了mysql库（权限库）

【7.2】部分数据库（innodb）
【innodb】mysqldump -uroot -proot --single-transaction --master-data=2 --flush-logs  --routines --all-databases > some_db_data.bak
#这个时候就不太适合用--flush-privileges了，因为可能还原时，已经有mysql权限库了，可能会引起冲突

【innodb】mysqldump -uroot -proot --flush-privileges --databases mysql > mysql_db_data.bak
#可以单独备份mysql库的权限

PS:有必要的时候，加上default-character-set=utf8/utf8mb4

【7.3】关于增量（binlog）：将binlog日志保存起来，保存之前刷新日志。
fulsh logs; 
or
mysqladmin -uroot -proot flush logs

【7.4】导出权限数据（该部分转载引用自：https://www.cnblogs.com/gaogao67/p/10372279.html）

#（1）mysql5.7
hostname='127.0.0.1'
port=3306
username='root'
password='123456'
echo "select concat('show create user ''',user,'''@''',host, ''';','show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root'" | \
mysql --host=$hostname --user=$username --password=$password --port=$port -N | \
mysql --host=$hostname --user=$username --password=$password --port=$port -N | \
sed "s/$/;/" > /tmp/create-users.sql



#（2）mysql5.6
hostname='127.0.0.1'
port=3358
username='root'
password='abc@123.com'
mysql_exe="/export/servers/mysql/bin/mysql"
echo "select concat('show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root'" | \
${mysql_exe} --host=$hostname --user=$username --password=$password --port=$port -N | \
${mysql_exe} --host=$hostname --user=$username --password=$password --port=$port -N | \
sed "s/$/;/" > /tmp/create-users.sql

8、mysqldump生产环境自动化备份案例

【8.1】线上数据库完整备份场景
（1）全备：每天业务最不繁忙的时候（比如凌晨2-4点）执行全备脚本
（2）增量：每天中午的周期flush logs一下，然后备份binlog日志

前提：
（1）一定要打开binlog日志功能
（2）准备目录空间与存储（最好不要把备份与数据库文件放在同一磁盘上，这样更安全+磁盘IO性能更高）

mkdir -p /mysql/backup/backup-db
mkdir -p /mysql/backup/backup-binlog
chown -R mysql:mysql /mysql/backup/
chomd -R 775 /mysql/backup/

自动完备

DataBakDir=/mysql/backup/backup-db/
LogOutFile=/mysql/backup/backup-db/bak-db.log
mysql_host='127.0.0.1'
mysql_port=3306
mysql_user='root'
mysql_pass='123456'
Date=`date +%Y%m%d`
Begin=`date +%Y%m%d_%H%M%S`
DumpFile="dbbackup_alldb_${Date}.sql"
GzDumpFile="${DumpFile}.gz"
DbName="--all-databases"
SystemDb="dbbackup_SystemDb_${Date}.sql.gz"
error_file="dbbackup.err"

if [ ! -d ${DataBakDir} ];then
        mkdir -p ${DataBakDir}
　　　　chown -R mysql:mysql ${DataBakDir} 
　　　　chown -R 775 ${DataBakDir}
fi

if [ ! -f ${LogOutFile} ];then
        touch ${LogOutFile}
fi

echo "${Begin} begin run!">${LogOutFile}

/mysql/app/mysql/bin/mysqldump -u${mysql_user} -p${mysql_pass} -h${mysql_host} ${DbName} --default-character-set=utf8 --single-transaction --master-data=2 --routines --flush-logs --flush-privileges 1>${DataBakDir}${DumpFile} 2>${DataBakDir}${error_file}

/mysql/app/mysql/bin/mysqldump -u${mysql_user} -p${mysql_pass} -h${mysql_host} --default-character-set=utf8 --skip-lock-tables --databases performance_schema information_schema sys mysql|gzip 1>${DataBakDir}${SystemDb}  2>${DataBakDir}${error_file}


end=`date +%Y%m%d_%H%M%S`
echo "${end} end script!">${LogOutFile}
find ${DataBakDir} -mtime +10 -name "*.gz" -exec rm -rf {}\

mysql全备+binlog备参考脚本：

## 注意 各种目录创建及相关参数设置
## 设置 /root/dba/binlog_control.txt，记录binlog文件时间，获取时间命令：stat -c %y mysql_mmm_01-bin.000013
## 设置 /root/dba/fullbak_file.txt，记录全备目录，第一次执行时，需设置一个目录来存放备份前产生的binlog，之后每次全备会自动更新该文件
---------------------------full_backup：mysql_full_backup.sh----------------------------------------
#!/bin/bash

#mysql param
user="root"
passwd="123456"
socket="/data/mysql/run/mysql.sock"
port=3306
bk_options="--single-transaction --flush-logs -u$user -p$passwd --master-data=2 --all-databases --socket=$socket --port=$port"


#log file
dtime=`date +%Y%m%d%H%M%S`
log_base="/root/dba/logs"
log_file="$log_base/full_backup_${dtime}.log"

#control file
contr_file="/root/dba/binlog_control.txt"
fullbak_file="/root/dba/fullbak_file.txt"

#full backup dir
bk_dir_suffix=`date +%Y%m%d`
full_dir="/backup/mysql_bak/mysql_$bk_dir_suffix"

[ -d ${full_dir} ] || mkdir -p ${full_dir}

echo "mkdir full backup dir : $full_dir" >> $log_file


#full backup file
full_bk_file="mysql_full_$bk_dir_suffix.sql"

#mysqldump
cd $full_dir
mysqldump $bk_options > $full_bk_file


echo "full backup file  : $full_bk_file" >> $log_file
    
#backup flush logs--binlog to previous full backup
/root/dba/mysql_binlog_backup_new.sh
    
#update fullbak_file control file
echo $full_dir > $fullbak_file






---------------------------binlog_backup：mysql_binlog_backup_new.sh-------------------------------------------------------

#!/bin/bash

#mysql
user="root"
passwd="123456"
socket="/data/mysql/run/mysql.sock"
port=3306

#log file
dtime=`date +%Y%m%d%H%M%S`
log_base="/root/dba/logs"
log_file="$log_base/binlog_backup_${dtime}.log"

#control file
contr_file="/root/dba/binlog_control.txt"
fullbak_file="/root/dba/fullbak_file.txt"

#binlog path
binlog_path="/data/mysql/binlog/"

#binlog file format
binlog_format="mysql_mmm_01-bin.*[0-9]*"

#binlog backup dir
dest_dir=`cat $fullbak_file`


#current binlog
curr_binlog=`mysql -u$user -p$passwd --socket=$socket --port=$port -e 'show master status\G'|grep "File"|awk '{print $2}'`

echo "Current binlog      : $curr_binlog">>$log_file


#current binglog file time
currbinlog_time=`stat -c %y $binlog_path$curr_binlog`

echo "Current binlog time : $currbinlog_time">>$log_file

#lastest backup binlog file time
previous_time=`cat $contr_file`
echo "Previous time       : $previous_time">>$log_file

# ! -name "*$curr_binlog*" exclude current binglog
bk_count=`find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|wc -l`

echo "backup files count  : $bk_count">>$log_file

if [ $bk_count -gt 0 ];then
    find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|xargs ls -t>>$log_file
    #find the newest bakup file
    last_file=`find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|xargs ls -t|head -n 1`
    #newest backup file time
    last_file_time=`stat -c %y $last_file`
    echo $last_file_time > $contr_file
    #cp files
    find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time" -exec cp {} $dest_dir \;
fi
find $log_base -mtime +15 -exec rm -f {} \;


--------------------------------------------------------------------------------