mydumper工作原理解析

1、简介

逻辑备份小钢炮--mydumper是针对MySQL的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快10倍；支持事务和非事务表的一致性备份；还支持导出binlog；支持多线程备份；支持以守护进程的形式工作，定时备份；并且是开源的，其协议为GPLv3.

2、使用方法

点击(此处)折叠或打开

1. root@dd:~/mydumper-0.6.2# ./mydumper --help
   
2. Usage:
   
3. mydumper [OPTION...] multi-threaded MySQL dumping
   
4. 
   
5. Help Options:
   
6. -?, --help Show help options
   
7.  
   
8. Application Options:
   
9. -B, --database 需要备份的库
   
10. -T, --tables-list 需要备份的表，用逗号分隔
    
11. -o, --outputdir 输出文件的目录
    
12. -s, --statement-size 生成插入语句的字节数, 默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo
    
13. -r, --rows 分裂成很多行块表
    
14. -c, --compress 压缩输出文件
    
15. -e, --build-empty-files 即使表没有数据，还是产生一个空文件
    
16. -x, --regex 正则表达式: 'db.table'
    
17. -i, --ignore-engines 忽略的存储引擎，用逗号分隔
    
18. -m, --no-schemas 不导出表结构
    
19. -k, --no-locks 不执行共享读锁 警告：这将导致不一致的备份
    
20. -l, --long-query-guard 设置长查询时间,默认60秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump
    
21. --kill-long-queries kill掉长时间执行的查询
    
22. -b, --binlogs 导出binlog
    
23. -D, --daemon 启用守护进程模式
    
24. -I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下
    
25. -L, --logfile 日志文件
    
26. -h, --host The host to connect to
    
27. -u, --user Username with privileges to run the dump
    
28. -p, --password User password
    
29. -P, --port TCP/IP port to connect to
    
30. -S, --socket UNIX domain socket file to use for connection
    
31. -t, --threads 使用的线程数，默认4
    
32. -C, --compress-protocol 在mysql连接上使用压缩协议
    
33. -V, --version Show the program version and exit
    
34. -v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

3、原理解析

1）该工具在--daemo模式下支持以守护进行形式启动，默认每60s进行一次备份。间隔时间由--snapshot-interval控制。

2）首先会创建一个MySQL服务的连接

3）然后在MySQL上执行show processlist，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;

4）根据是否有--lock-all-tables，进行锁表：LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK；然后执行START TRANSACTION；

5）创建4个备份表的子线程

6）创建1个work thread后，g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。

7）work线程执行：连接mysql；设置隔离级别RR；start transaction；g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了，继续创建线程或者向下走。

8）work线程接着执行：进入死循环，从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);，根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表，然后备份innodb表

9）最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);，执行UNLOCK TABLES解锁

10）事务结束

mydumper.png

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31493717/viewspace-2153534/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31493717/viewspace-2153534/