MYDUMPER源码阅读

已于 2022-07-24 22:54:37 修改
阅读量777 收藏
点赞数
分类专栏： MYSQL源码 文章标签： mysql
于 2022-07-24 12:58:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lindeci87/article/details/125958121
版权

目录

1、MYDUMPER的地位

2、MyDumper怎么实现备份的一致性

3、源码地址

4、直接从main函数开始分析

5、start_dump函数分析

5.1 代码注解

5.2 流程图讲解

5.3 审计日志佐证

6、create_job_to_dump_table函数

7、new_table_job函数

8、write_table_data_into_file函数

9、write_row_into_file_in_sql_mode函数分析

1、MYDUMPER的地位

        MyDumper是一个数据库的逻辑备份工具,和官方的mysqldump,mysqlpump类似。本人多年接触过的MYSQL DBA同事，生产环境首选逻辑备份工具都是MyDumper。

2、MyDumper怎么实现备份的一致性

         mysqldump是单线程，备份一致性原理：

                FLUSH TABLES WITH READ LOCK

                SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ

                START TRANSACTION /!40100 WITH CONSISTENT SNAPSHOT

                SHOW MASTER STATUS

                UNLOCK TABLES

         MyDumper的多线程是表级别，那它是怎么获取备份一致性的？决定通过源码了解它的执行流程。

3、源码地址

GitHub - mydumper/mydumper: Official MyDumper project

4、直接从main函数开始分析

调用经过初始化、获取命令行参数后，调用start_dump函数

int main(int argc, char *argv[]) {
  ……

  if (daemon_mode) {
    run_daemon();
  } else {
    start_dump();
  }

  ……
}

5、start_dump函数分析

5.1 代码注解

void start_dump() {
  MYSQL *conn = create_main_connection();//该连接执行FTWR，对DB造成阻塞，然后获取备份一致性
  MYSQL *second_conn = conn;             //该连接用来获取数据库的其它信息
  ……
  for (n = 0; n < num_threads; n++) {//num_threads对应命令行参数中的threads
    nits[n] = 0;
    nitl[n] = NULL;
  }
  ……
  //对命令行中的参数updated-since的逻辑处理
  if (updated_since > 0) {
    u = g_strdup_printf("%s/not_updated_tables", dump_directory);
    nufile = g_fopen(u, "w");
    if (!nufile) {
      g_critical("Couldn't write not_updated_tables file (%d)", errno);
      exit(EXIT_FAILURE);
    }
    get_not_updated(conn, nufile);  //获取updated-since之前没更新的表
  }
  //对命令行中的参数no-locks的处理逻辑
  if (!no_locks) {
        ……
		long_query_wait(conn);
	}

  //发现TIDB对MYDUMPER进行多处改造，为了兼容TIDB
  ……
  }else{
    //对命令行中的参数no-locks的逻辑处理
    if (!no_locks) {
	  	……
  		if (lock_all_tables) {
        send_lock_all_tables(conn);
      } else {
        //我们比较关心备份的一致性，可以通过这段代码理解流程。在主线程中执行下面两步
        //1、FLUSH TABLES
        //2、FLUSH TABLES WITH READ LOCK
        ……
        if (mysql_query(conn, "FLUSH TABLES")) {
        ……        
        if (mysql_query(conn, "FLUSH TABLES WITH READ LOCK")) {
        ……

  // tokudb 不支持一致性读操作，进行特殊处理

  // Do not start a transaction when lock all tables instead of FTWRL,
  // since it can implicitly release read locks we hold
  // TODO: this should be deleted as main connection is not being used for export data
  // 开启一致性读操作：START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
  if (!lock_all_tables) {
    mysql_query(conn, "START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */");
  }
  ……
  //对命令行中的参数set-names的逻辑处理
  if (detected_server == SERVER_TYPE_MYSQL) {
    if (set_names_str)
  		mysql_query(conn, set_names_str);
    write_snapshot_info(conn, mdfile);
  }

  //对命令行中的参数stream的逻辑处理
  if (stream){
    initialize_stream();
  }
  //对命令行中的参数exec的逻辑处理
  if (exec_command != NULL){
    initialize_exec_command();
    stream=TRUE;
  
  }
  //重点：开始初始化多线程的参数，less_locking的数据类型是gboolean less_locking = FALSE;
  GThread **threads = g_new(GThread *, num_threads * (less_locking + 1));
  struct thread_data *td =
      g_new(struct thread_data, num_threads * (less_locking + 1));
  //对命令行中的参数less-locking的逻辑处理
  if (less_locking) {
    ……
    for (n = num_threads; n < num_threads * 2; n++) {
      ……
      threads[n] = g_thread_create((GThreadFunc)working_thread,
                                   &td[n], TRUE, NULL);
      ……
  ……
  //创建num_threads个working_thread函数
  for (n = 0; n < num_threads; n++) {
    ……
    threads[n] =
        g_thread_create((GThreadFunc)working_thread, &td[n], TRUE, NULL);
    ……
  }

  // IMPORTANT: At this point, all the threads are in sync
  // 这段很重要，所有子线程处于sync状态
  g_async_queue_unref(conf.ready);
  conf.ready=NULL;
  //对命令行中的参数trx-consistency-only的逻辑处理，
  //获取备份的一致性后，主线程开始UNLOCK TABLES
  if (trx_consistency_only) {
    ……
    mysql_query(conn, "UNLOCK TABLES /* trx-only */");
    ……
      //Releasing binlog lock释放binlog锁
      g_message("Releasing binlog lock");
      release_binlog_function(second_conn);
    ……
  }
  //默认开启all-tablespaces，改参数针对NDB引擎。该SQL涉及视图关联、嵌套查询，如果表数据量很多，则查询不出结果，会发生TIMEOUT。需要在备份命令行的参数中设置all-tablespaces=N
  if (dump_tablespaces){
    create_job_to_dump_tablespaces(conn,&conf);
  }
  ……
  //对命令行中的参数--database、--tables_list进行处理，如果指定，则创建对应的JOB。
  //如果没设置，则查询出非系统库、表
  //子线程跟主线程之间的同步，通过GLib库的异步队列实现
  ……
  if (less_locking) {
    ……
    else {
    for (iter = non_innodb_table; iter != NULL; iter = iter->next) {
      ……
      //创建备份表的job
      create_job_to_dump_table(conn, dbt, &conf, FALSE);
      ……
    }
    ……
  }
  //等待 less locking jobs 完成
  if (less_locking) {
    g_message("Waiting less locking jobs to complete");
    for (n = num_threads; n < num_threads * 2; n++) {
      g_thread_join(threads[n]);
    }
    g_async_queue_unref(conf.queue_less_locking);
    conf.queue_less_locking=NULL;
  }

  if (!no_locks && !trx_consistency_only) {
    ……
    mysql_query(conn, "UNLOCK TABLES /* FTWRL */");
    ……
  }
  //Shutdown所有子线程？
  g_message("Shutdown jobs enqueued");
  for (n = 0; n < num_threads; n++) {
    struct job *j = g_new0(struct job, 1);
    j->type = JOB_SHUTDOWN;
    g_async_queue_push(conf.queue, j);
  }
  //等待所有子线程完成
  g_message("Waiting jobs to complete");
  for (n = 0; n < num_threads; n++) {
    g_thread_join(threads[n]);
  }
  ……
  // close main connection 关闭主线程的连接
  mysql_close(conn);
  ……

  // TODO: We need to create jobs for metadata.
  ……

  if (stream) {
    g_async_queue_push(stream_queue, g_strdup(""));
    if (exec_command!=NULL){
      wait_exec_command_to_finish();
    }else
      wait_stream_to_finish();
    if (no_delete == FALSE && output_directory_param == NULL)
      if (g_rmdir(output_directory) != 0)
        g_critical("Backup directory not removed: %s", output_directory);
  }

  g_free(td);
  g_free(threads);
  if (disk_check_thread!=NULL){
    disk_limits=NULL;
  }
}

5.2 流程图讲解

线程之间通过GLib库的异步队列进行通讯。

现在基本没人用这库，很想替换成C++高版本的线程、信号量。

5.3 审计日志佐证

6、create_job_to_dump_table函数

调用new_table_job进行表备份

void create_job_to_dump_table(MYSQL *conn, struct db_table *dbt,
                struct configuration *conf, gboolean is_innodb) {
……
  if (rows_per_file)
    chunks = get_chunks_for_table(conn, dbt->database->name, dbt->table, conf);

  if (partitions){
    ……

  } else if (chunks) {
    ……
    for (iter = chunks; iter != NULL; iter = iter->next) {
      ……
  } else {
    ……
    tj = new_table_job(dbt, NULL, NULL, 0, get_primary_key_string(conn, dbt->database->name, dbt->table));
    ……
  }
}

7、new_table_job函数

struct table_job * new_table_job(struct db_table *dbt, char *partition, char *where, guint nchunk, char *order_by){
  struct table_job *tj = g_new0(struct table_job, 1);
// begin Refactoring: We should review this, as dbt->database should not be free, so it might be no need to g_strdup.
  // from the ref table?? TODO
  tj->database=dbt->database->name;
  //调用g_strdup进行备份
  tj->table=g_strdup(dbt->table);
// end
  tj->partition=partition;
  tj->where=where;
  tj->order_by=order_by;
  tj->nchunk=nchunk;
//  tj->filename = build_data_filename(dbt->database->filename, dbt->table_filename, tj->nchunk, 0);
  tj->dbt=dbt;
  return tj;
}

8、write_table_data_into_file函数

/* Do actual data chunk reading/writing magic */
guint64 write_table_data_into_file(MYSQL *conn, struct table_job * tj){
  guint64 num_rows = 0;
//  guint64 num_rows_st = 0;
  MYSQL_RES *result = NULL;
  char *query = NULL;

  /* Ghm, not sure if this should be statement_size - but default isn't too big
   * for now */

  /* Poor man's database code */
  query = g_strdup_printf(
      "SELECT %s %s FROM `%s`.`%s` %s %s %s %s %s %s %s",
      (detected_server == SERVER_TYPE_MYSQL) ? "/*!40001 SQL_NO_CACHE */" : "",
      tj->dbt->select_fields->str, tj->database, tj->table, tj->partition?tj->partition:"", (tj->where || where_option ) ? "WHERE" : "",
      tj->where ? tj->where : "",  (tj->where && where_option ) ? "AND" : "", where_option ? where_option : "", tj->order_by ? "ORDER BY" : "",
      tj->order_by ? tj->order_by : "");
  if (mysql_query(conn, query) || !(result = mysql_use_result(conn))) {
    // ERROR 1146
    if (success_on_1146 && mysql_errno(conn) == 1146) {
      g_warning("Error dumping table (%s.%s) data: %s ", tj->database, tj->table,
                mysql_error(conn));
    } else {
      g_critical("Error dumping table (%s.%s) data: %s ", tj->database, tj->table,
                 mysql_error(conn));
      errors++;
    }
    goto cleanup;
  }

  /* Poor man's data dump code */
  if (load_data)
    num_rows = write_row_into_file_in_load_data_mode(conn, result, tj->dbt, tj->nchunk);
  else
    num_rows=write_row_into_file_in_sql_mode(conn, result, tj->dbt, tj->nchunk, tj->where==NULL?1:2);
  if (mysql_errno(conn)) {
    g_critical("Could not read data from %s.%s: %s", tj->database, tj->table,
               mysql_error(conn));
    errors++;
  }


cleanup:
  g_free(query);

  if (result) {
    mysql_free_result(result);
  }

  return num_rows;
}

通过下面的SQL查询出结果。

select xx,xx,xx,……,xx /*!40001 SQL_NO_CACHE */ from 表 WHERE xx and xx order by xx

然后调用函数write_row_into_file_in_sql_mode逐行写入文件

9、write_row_into_file_in_sql_mode函数分析

guint64 write_row_into_file_in_sql_mode(MYSQL *conn, MYSQL_RES *result, struct db_table * dbt, guint nchunk, guint sections){
  ……
  while ((row = mysql_fetch_row(result))) {
    lengths = mysql_fetch_lengths(result);
    num_rows++;
    ……
    //逐行写入文件
    write_row_into_string(conn, dbt, row, fields, lengths, num_fields, escaped, statement_row);

    if (statement->len + statement_row->len + 1 > statement_size) {
      ……
      filesize+=statement->len+1;
      st_in_file++;
      //判断是否需要切换文件
      if (chunk_filesize &&
          (guint)ceil((float)filesize / 1024 / 1024) >
              chunk_filesize) {
        ……
      }
      g_string_set_size(statement, 0);
    } else {
      ……
    }
  }
  ……  
  m_close(sql_file);
  g_mutex_lock(dbt->rows_lock);
  dbt->rows+=num_rows;
  g_mutex_unlock(dbt->rows_lock);
  return num_rows;
}

林德赐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MyDumper迁移实战
fzxmkj的博客
11-09 157
使⽤以下⽅法之⼀将备份⽂件移⾄中的 EC2 实例：AWS Cloud⽅法 3A — 将亚⻢逊 FSx 或Amazon E lastic File System (Amazon EFS) ⽂件系统装。 如果您使⽤的是 InnoDB 引擎，请使⽤该 --trx-consistency-only 选项将锁定降。-O, --omit-from-file 包含要跳过的database.table条目列表的文件，每行一个。-l, --long-query-guard 设置备份时候慢查询的计时器，单位妙，默认值60.
loveyue系列源码
05-19
程序员表白程序，开放源码，不断更新（第三篇：第二弹）,这是loveyue系列的源码，详情请参照博客：http://blog.csdn.net/wuxia2001/article/details/45743641
MySQL逻辑备份工具mysqldump,mysqlpump,mydumper详细介绍，建议收藏
白话机器学习
08-23 2207
mysqlpump的备份是基于表并行的，对于每张表的导出只能是单个线程的，这里会有个限制是如果某个数据库有一张表非常大，可能大部分的时间都是消耗在这个表的备份上面，并行备份的效果可能就不明显。该参数默认开启，表示快递启动–add-drop-table --add-locks --create-options --disable-keys --extended-insert --lock-tables --quick --set-charset选项，通过 --skip-opt 关闭。
mydumper 的使用
dale
05-30 431
mydumper 的使用
MySQL mydumper工具
最新发布
zj88189748的专栏
05-07 970
MyDumper是一个MySQL逻辑备份工具。mydumper负责导出 MySQL 数据库的一致备份myloader从 mydumper 读取备份，连接到目标数据库并导入备份。这两个工具都使用多线程功能。支持多线程导出数据，速度更快。支持一致性备份。支持将导出文件压缩，节约空间。支持多线程恢复。支持以守护进程模式工作，定时快照和连续二进制日志。支持按照指定大小将备份文件切割。数据与建表语句分离。下载工具我下载的是zip包，上传至虚拟机，解压安装依赖包(CentOS)
MySQL多线程导入导出 —— mydumper & myloader 简介及常见用法
Hehuyi_In的博客
04-07 8493
一、 简介 之前介绍了mysqldump和mysqlpump两种逻辑备份工具，但还是各有缺点。这里介绍一个更强大的逻辑备份工具mydumper & myloader，前者用于备份或者用于恢复。 mysqldumphttps://blog.csdn.net/Hehuyi_In/article/details/90045274 mysqlpumphttps://blog.csdn...
mysqldumper
weixin_30445169的博客
08-10 1266
介绍MySQL自身的mysqldump工具支持单线程工作，依次一个个导出多个表，没有一个并行的机，这就使得它无法迅速的备份数据。 mydumper作为一个实用工具，能够良好支持多线程工作，可以并行的多线程的从表中读入数据并同时写到不同的文件里，这使得它在处理速度方面快于传统的mysqldump。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起DML阻塞...
小程序源码 阅读读书（带后台）
04-21
小程序源码 阅读读书（带后台）小程序源码 阅读读书（带后台）小程序源码 阅读读书（带后台）小程序源码 阅读读书（带后台）小程序源码 阅读读书（带后台）小程序源码 阅读读书（带后台）小程序源码 阅读读书（带...
小程序源码 看书阅读前端 看书阅读带后端 (代码源)
06-22
小程序源码 看书阅读前端 看书阅读带后端 (代码源)小程序源码 看书阅读前端 看书阅读带后端 (代码源)小程序源码 看书阅读前端 看书阅读带后端 (代码源)小程序源码 看书阅读前端 看书阅读带后端 (代码源)小程序源码 ...
MySQL mydumper使用方法详解
小楼一夜听春雨，深巷明朝卖杏花
06-21 2142
mysqldumper 而你的MySQL版本应该更新到5.5版本以上，mydumper作为一个实用工具,能够良好支持多线程工作，可以并行的多线程的从表中读入数据并同时写到不同的文件里这使得它在处理速度方面快于传统的mysqldump。 mysqldumper其特征之一是在处理过程中需要对列表加以锁定，如果我们需要在工作时段执行备份工作,那么会引起DML阻塞不过现在的MySQL一般都是主从结构，备份也大部分在从上进行,所以锁的问题可以不用考虑因此mydumper能更优秀快速的完成备份任务 mydumpe
为什么mysqldumper mydumper能实现一致性备份？--源码分析
qq_39570637的博客
04-24 785
为什么mysqldumper mydumper能实现一致性备份？–源码分析 mydmper是一个针对mysql和tidb的高性能多线程备份与恢复工具，其开发人员来自mysql等。 mydumper具有以下特征 采用轻量c语言编写 #include <glib.h> 执行速度比mysqldumper快十倍（参看资料） 执行innodb表和非innodb表（是否支持事务的表都可以。不支持事务的表加表锁，innodb表开启一个事务设为RR级别） 多线程备份 多线程恢复 基于 GNU General
mydumper备份原理和使用方法
weixin_30484739的博客
07-01 135
mydumper介绍 MySQL自身的mysqldump工具支持单线程工作，依次一个个导出多个表，没有一个并行的机，这就使得它无法迅速的备份数据。 mydumper作为一个实用工具，能够良好支持多线程工作，可以并行的多线程的从表中读入数据并同时写到不同的文件里，这使得它在处理速度方面快于传统的mysqldump。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工...
mydumper批量备份工具
weixin_42077595的博客
05-31 355
mydumper的介绍和使用
mydumper
翔之天空的专栏
01-21 1257
  特性如下： Parallelism (hence, speed) and performance (avoids expensive character set conversion routines, efficient code overall) Easier to manage output (separate files for tables, dump metada...
mydumper基本使用
十五十六
06-26 3397
文章目录简介安装选项mydumper选项myloader选项示例输出文件参考文档 简介 Mydumper是一个用于备份MySQL数据库服务器的工具，开发人员主要来自MySQL，Facebook，SkySQL公司。比MySQL随附的mysqldump工具要快得多。它还具有在备份同时从远程服务器获取二进制日志的功能。 优点： 并行性 更容易管理输出(会输出表结构对应的sql，以及表数据，易于查看和解...
Mydumper介绍
weixin_34077371的博客
04-30 240
转载自：https://www.cnblogs.com/abclife/p/7755031.html Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。 一、Mydumper主要特性：　　-执行并行(速度快)、性能提升　　-易于管理　　-一致性：在所有的th...
mydumper安装和使用
demonson的专栏
02-26 2548
安装 下载安装包： wget    https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz 安装依赖包： yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake ## mydumper是C语句开发，编译依赖gc...
minotes 源码阅读
12-20
minotes是一个开源的笔记本应用，通过阅读minotes源码可以深入了解其设计架构和实现细节。在阅读minotes源码的过程中，可以学习到许多关于Android开发的知识和技巧，比如UI设计、数据持久化、网络通信、权限管理等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值