本文详细介绍Mydumper，一款针对MySQL和Drizzle的高性能多线程备份与恢复工具。文章涵盖Mydumper的主要特性、获取一致性快照的方法、工作原理、安装步骤、参数说明及导出文件类型。适合数据库管理员和技术人员阅读。
转载自：https://www.cnblogs.com/abclife/p/7755031.html
Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。
一、Mydumper主要特性：
-执行并行(速度快)、性能提升
-易于管理
-一致性：在所有的threads之间维护快照，提供master和slave日志的准确位置等
-管理型：支持PCRE
默认是关闭了binlog的dump功能，要想开启，需要在cmke编译的时候添加-DWITH_BINLOG=ON
二、如何获取一致性快照的：
-server上正在运行的慢查询或中断dump，或者慢查询被kill掉
-需要施加全局写锁("flush tables with read lock")
-读取不同的元数据("show slave status","show master status")
-具有事务性和非事务性表一致的快照(0.2.2+)
-一旦所有的工作现成通知已经创建好快照，master会执行"unlock tables",开始运行队列中的job
三、mydumper的工作原理：
mydumper的主要工作步骤：
1 主线程 flush tables with read lock, 施加全局只读锁，以阻止dml语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供恢复使用
3 start transaction with consistent snapshot; 开启读一致事务
4 启用n个（线程数可以指定，默认是4）dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 unlock tables，备份完成非事务类型的表之后，释放全局只读锁
7 基于事务dump innodb tables
8 事务结束
四、mydumper的安装：
# yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel
# wget http://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# tar zxvf mydumper-0.9.1.tar.gz -C ../software/
# cmake .
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# cmake .
-- The C compiler identification is GNU 4.8.5
-- The CXX compiler identification is GNU 4.8.5
-- Check
for
working C compiler:
/bin/cc
-- Check
for
working C compiler:
/bin/cc
-- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info -
done
-- Check
for
working CXX compiler:
/bin/c
++
-- Check
for
working CXX compiler:
/bin/c
++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info -
done
-- Using mysql-config:
/bin/mysql_config
-- Found MySQL:
/usr/include/mysql
,
/usr/lib64/mysql/libmysqlclient
.so;
/usr/lib64/libpthread
.so;
/usr/lib64/libz
.so;
/usr/lib64/libm
.so;
/usr/lib64/libssl
.so;
/usr/lib64/libcrypto
.so;
/usr/lib64/libdl
.so
-- Found ZLIB:
/usr/lib64/libz
.so (found version
"1.2.7"
)
-- Found PkgConfig:
/bin/pkg-config
(found version
"0.27.1"
)
-- checking
for
one of the modules
'glib-2.0'
-- checking
for
one of the modules
'gthread-2.0'
-- checking
for
module
'libpcre'
-- found libpcre, version 8.32
-- Found PCRE:
/usr/include
CMake Warning at docs
/CMakeLists
.txt:9 (message):
Unable to
find
Sphinx documentation generator
-- ------------------------------------------------
-- MYSQL_CONFIG =
/bin/mysql_config
-- CMAKE_INSTALL_PREFIX =
/usr/local
-- BUILD_DOCS = ON
-- WITH_BINLOG = OFF
-- RUN_CPPCHECK = OFF
-- Change a values with: cmake -D<Variable>=<Value>
-- ------------------------------------------------
--
-- Configuring
done
-- Generating
done
-- Build files have been written to:
/root/mydumper-0
.9.1
|
# make
|
1
2
3
4
5
6
7
8
9
10
11
|
# make
Scanning dependencies of target mydumper
[ 25%] Building C object CMakeFiles
/mydumper
.
dir
/mydumper
.c.o
[ 50%] Building C object CMakeFiles
/mydumper
.
dir
/server_detect
.c.o
[ 75%] Building C object CMakeFiles
/mydumper
.
dir
/g_unix_signal
.c.o
Linking C executable mydumper
[ 75%] Built target mydumper
Scanning dependencies of target myloader
[100%] Building C object CMakeFiles
/myloader
.
dir
/myloader
.c.o
Linking C executable myloader
[100%] Built target myloader
|
# make install
|
1
2
3
4
5
6
7
8
9
|
# make install
[ 75%] Built target mydumper
[100%] Built target myloader
Install the project...
-- Install configuration:
""
-- Installing:
/usr/local/bin/mydumper
-- Removed runtime path from
"/usr/local/bin/mydumper"
-- Installing:
/usr/local/bin/myloader
-- Removed runtime path from
"/usr/local/bin/myloader"
|
安装好之后 ，会生成两个文件：
|
1
2
|
/usr/local/bin/mydumper
/usr/local/bin/myloader
|
五、参数说明：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
-B,
--database 要导出的数据库名
-T,
--tables-list 要导出的表名，多个表用逗号分隔。不支持正则表达式
-o,
--outputdir 导出数据文件存放的目录，mydumper会自动创建
-s,
--statement-size 生成插入语句的字节数, 默认1000000字节
-r,
--rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
-F,
--chunk-filesize Split tables into chunks of this output file size. This value is in MB
-c,
--compress 压缩导出的文件
-e,
--build-empty-files 即使是空表也为表创建文件
-x,
--regex 使用正则表达式匹配'db.table'
-i,
--ignore-engines 忽略的存储引擎，多个存储引擎使用逗号分隔
-m,
--no-schemas 只导出数据，不导出建库建表语句
-d,
--no-data 仅仅导出建表结构，创建db的语句，不导出表的数据
-G,
--triggers 导出触发器
-E,
--events 导出events
-R,
--routines 导出存储过程和函数
-k,
--no-locks 不施加临时的共享读锁，会导致备份不一致
--less-locking 最小化在innodb表上的锁表时间
-l,
--long-query-guard 设置长查询定时器，单位是秒，默认是60
-K,
--kill-long-queries Kill掉运行时间长的查询
-D,
--daemon 以守护进程的方式执行
-I,
--snapshot-interval 创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用
-L,
--logfile 指定mydumper输出的日志文件，默认使用控制台输出
--tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
--skip-tz-utc
--use-savepoints 使用savepoints减少对元数据锁定的问题，需要SUPER权限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
--lock-all-tables Use LOCK TABLE for all, instead of FTWRL
-U,
--updated-since Use Update_time to dump only tables updated in the last U days
--trx-consistency-only Transactional consistency only
-h,
--host 主机
-u,
--user 用户名
-p,
--password 密码
-P,
--port 端口
-S,
--socket 套接字文件
-t,
--threads 所使用的线程数，默认是4
-C,
--compress-protocol 压缩协议
-V,
--version 显示版本后退出
-v,
--verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
|
六、mydump导出的文件类型
|
1
2
3
4
|
metadata :包含导出开始和结束时间，如果开启binlog会记录日志位置信息；如果启用gtid ，则记录gtid信息。
db.
table
.sql :数据文件，
insert
语句
db.
table
-
schema
.sql :包含建表语句
db-
schema
.sql :包含建库语句
|
扫一扫
2223
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
