mydumper备份mysql数据库示例

原创 2015年07月09日 13:26:26

    mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式为逻辑备份。它支持多线程,备份速度远高于原生态的mysqldump以及众多优异特性。因此该工具是DBA们的不二选择。本文主要描述该工具的使用方法并给出示例。

    有关mydumper安装参考:mydumper安装及安装故障汇总


1、mydumper的特点
a、多线程逻辑备份,生产的多个备份文件
b、与mysqldump相同,备份时对 MyISAM 表施加FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞DML 语句
c、保证备份数据的一致性
d、支持文件压缩,支持导出binlog,支持多线程恢复,支持将备份文件切块
e、支持以守护进程模式工作,定时快照和连续二进制日志


2、mydumper语法
mydumper -u [USER] -p [PASSWORD] -h [HOST] -P [PORT] -t [THREADS] -b -c -B [DB] -o [directory]
参数说明
  -B, --database              需要备份的库
  -T, --tables-list           需要备份的表,用逗号分隔
  -o, --outputdir             输出文件的目录
  -s, --statement-size        生成插入语句的字节数, 默认 1000000
  -r, --rows                  分裂成很多行块表
  -c, --compress              压缩输出文件
  -e, --build-empty-files     即使表没有数据,还是产生一个空文件
  -x, --regex                 正则表达式: 'db.table'
  -i, --ignore-engines        忽略的存储引擎,用逗号分隔
  -m, --no-schemas            不导出表结构
  -k, --no-locks              不执行共享读锁 警告:这将导致不一致的备份
  -l, --long-query-guard      设置长查询时间,默认60秒
  --kill-long-queries         kill掉长时间执行的查询
  -b, --binlogs               导出binlog
  -D, --daemon                启用守护进程模式
  -I, --snapshot-interval     dump快照间隔时间,默认60s,需要在daemon模式下
  -L, --logfile               日志文件
  -h, --host                  The host to connect to
  -u, --user                  Username with privileges to run the dump
  -p, --password              User password
  -P, --port                  TCP/IP port to connect to
  -S, --socket                UNIX domain socket file to use for connection
  -t, --threads               使用的线程数,默认4
  -C, --compress-protocol     在mysql连接上使用压缩协议
  -V, --version               Show the program version and exit
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2


3、mydumper的工作过程
a、连接目标数据库;
b、通过show processlist来判断是否有长查询,根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;
c、锁定myisam表,flush tables with read lock;针对innodb table开启事务,start transaction;
d、创建worker子线程,缺省为4个;
e、确定候选表,根据类别分别插入innodb_table,non_innodb_table以及table_schemas链表(表结构);
f、将候选表通过g_async_queue_push加入任务队列(队列最后元素是thread shutdown),由worker子线程从队列中读取表信息并执行数据导出
g、执行unlock tables,处理完myisam表后立即解锁,以减少锁定时间;
h、等待worker退出;


4、备份文件相关信息
a、所有的备份文件在一个目录中,未指定时为当前目录, 且自动生成备份日期时间文件夹,如export-20150703-145806
b、目录中包含一个 metadata 文件,该文件记录了备份时间点的二进制日志文件名,日志的写入位置
c、如果是在从库进行备份,还会记录备份时同步至主库的二进制日志文件及写入位置
d、每个表有两个备份文件:database.table-schema.sql 表结构文件,database.table.sql 表数据文件
e、如果对表文件分片,将生成多个备份数据文件,可以指定行数或指定大小分片

 
5、常用备份示例:
###备份单个库 
# mydumper -u leshami -p pwd -B sakila -o /tmp/bak

###备份所有数据库,全库备份期间除了information_schema与performance_schema之外的库都会被备份
# mydumper -u leshami -p pwd -o /tmp/bak

###备份单表
# mydumper -u leshami -p pwd -B sakila -T actor -o /tmp/bak

###备份多表
# mydumper -u leshami -p pwd -B sakila -T actor,city -o /tmp/bak

###当前目录自动生成备份日期时间文件夹,不指定-o参数及值时,如文件夹为:export-20150703-145806
mydumper -u leshami -p pwd -B sakila -T actor

###不带表结构备份表
# mydumper -u leshami -p pwd -B sakila -T actor -m

###压缩备份及连接使用压缩协议(非本地备份时)
# mydumper -u leshami -p pwd -B sakila -o /tmp/bak -c -C

###备份特定表
# mydumper -u leshami -p pwd -B sakila --regex=actor* -o /tmp/bak

###过滤特定库,如本来不备份mysql及test库
# mydumper -u leshami -p pwd -B sakila --regex '^(?!(mysql|test))' -o /tmp/bak

###基于空表产生表结构文件
# mydumper -u leshami -p pwd -B sakila -T actor -e -o /tmp/bak

##设置长查询的上限,如果存在比这个还长的查询则退出mydumper,也可以设置杀掉这个长查询
#mydumper -u leshami -p pwd -B sakila --long-query-guard 200 --kill-long-queries

###备份时输出详细日志
# mydumper -u leshami -p pwd -B sakila -T actor -v 3 -o /tmp/bak

###导出binlog,使用-b参数,会自动在导出目录生成binlog_snapshot文件夹及binlog
# mydumper -u leshami -p pwd -P 3306 -b -o /tmp/bak

版权声明:本文为博主原创文章,欢迎扩散,扩散请务必注明出处。

相关文章推荐

mydumper备份脚本

mydumper自动备份部分数据库、所有数据库或特定数据库

mydumper备份原理和使用方法

mydumper介绍 MySQL自身的mysqldump工具支持单线程工作,依次一个个导出多个表,没有一个并行的机,这就使得它无法迅速的备份数据。 mydumper作为一个实用工具,能够良好支持多...

CentOS6.7_Mysql5.6_使用mydumper全库备份

1.mydumper下载源码 cd /tmp wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz...
  • xinglu
  • xinglu
  • 2017年03月04日 15:15
  • 426

【mysql】mydumper多线程备份恢复

一、简介 使用C语言开发的Mysql备份工具,开发人员主要来自MySQL,Facebook,SkySQL公司。备份速度理论值比mysqldump快10倍,支持多线程备份,mysqldump是单线程...

利用mydumper和myloader备份恢复mysql

一.环境准备 mydumper工具  https://launchpad.net/mydumper/+download 速度比mysqldump快10倍,支持导出binlog,事务和非事务一致快照,...

mydumper myloader表分块导入导出

mydumper与myloader是一个优秀的第三方mysql数据库逻辑备份恢复工具,使用多线程的导出与导入。弥补了mysqldump单线程的不足。本文描述的是如何加快mydumper与myloade...

mysqlpump与mysqldump及mydumper的备份速度测试

准备工作:先建立一个test库,并包含10个10000000行记录的表。 sysbench --test=/data/software/sysbench-0.5/sysbench/tests/db/...

mysql 多线程备份工具mydumper 备份测试(含与mysqldump的对比)

关于Mydumper 的详细信息可参见:mydumper 源码分析 ,mydumper 官方网站  测试环境说明: OS Centos 6.4 X86_64  2U 8 Core 24 Thre...

myloader恢复mysql数据库示例

mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式为逻辑备份。它支持多线程,备份速度远高于原生态的mysqldump以及众多优异特性。与其相配套的恢复工具则是myload...

libc.so.6丢失修复

系统背景 rhel6.4_x64。由于同时疏忽误删除/lib64/libc.so.6文件,该文件仅仅是个软连接。删除后无法登录,重启后会提示kernel panic,所以无法进入文件系统。 解决思路 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mydumper备份mysql数据库示例
举报原因:
原因补充:

(最多只允许输入30个字)