MySQL技术内幕：InnoDB存储引擎之Master Thread底层实现——详解

InnoDB存储引擎之Master Thread工作方式

• 内容来自于MySQL技术内幕书籍
• 对InnoDB存储引擎不清楚的朋友可以看看我的：MySQL技术内幕专栏
• 在之前的博客中有说到InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中实现的，现在我们来讲解一下Master Thread的工作方式
• Master Thread线程是一个非常核心的后台线程，是InnoDB存储引擎的主要工作内容。主要负责将缓冲池中的数据异步刷新到磁盘中，保证数据的一致性。包括脏页的刷新，合并插入缓冲，UNDO页回收等

1. 1.0.x版本之前的Master Thread

1.1 Master Thread概述

• Master Thread拥有最高的线程级别。其内部由多个循环（loop）组成：
  1）主循环（loop）
  2）后台循环（backgroup loop）
  3）刷新循环（flush loop）
  4）暂停循环（suspend loop）
• Master Thread会根据数据库的运行状态在这四个循环中进行切换‘’

1.2 主循环——loop

• loop被称为主循环，因为大多数的操作都是在这个循环中，其中有两大部分的操作——每一秒的操作和每十秒的操作，伪代码如下：

 void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        do thing once per second
        sleep 1 second if necessary
    }
    do things once per then seconds
    goto loop;
}

• 我们可以发现，loop循环是通过线程sleep来实现的，这意味着所谓的每秒一次或每10秒一次是不精确的，因为在负载很大的情况下可能会有延迟。

1.2.1 每一秒的操作

每一秒的操作包括：

• 日志缓冲刷新到磁盘，即使这个事务还没有提交（总是）
• 合并插入缓冲（可能）
• 至多刷新100个缓冲池中的脏页到磁盘（可能）
• 如果当前用户没有活动，则切换到backgroup loop

操作解释：

• 即使某个事务还没有提交，InnoDB存储引擎仍然会每秒将日志缓冲的内容刷新到磁盘的日志文件中。这就是为什么再大的事务提交的时间也是很短的。

• 合并插入缓冲并不是每秒都会发生的。InnoDB存储引擎会判断当前一秒内发生的IO次数是否小于5次，如果小于5次，InnoDB认为当前IO的压力很小，可以执行插入缓冲操作。

  插入缓冲是InnoDB存储引擎的一大关键特性，可以看这篇博客：
  InnoDB存储引擎关键特性之插入缓冲——详解

• 刷新100个脏页也不是每秒都会发生的。InnoDB会判断挡墙缓冲池中脏页的比例，是否超过了配置文件中的innodb_max_dirty_pages_pct这个参数，如果超过了这个阈值，就会认为需要做磁盘同步的操作。

每一秒的操作源码： 这里每十秒的操作还没有放上来

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        thread_sleep(1)    // sleep 1秒
        do log buffer flush to dish

        if (last_one_second_ios < 5% innodb_io_capacity) {
            do merget 5% innodb_io_capacity insert buffer
        }

        if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {  // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
            do buffer pool flush 100% innodb_io_capacity dirty page  // 刷新全部脏页到磁盘
        } else if (enable adaptive flush) {    // 如果开户了自适应刷新
            do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
        }

        if (no user activetuy) {
            goto background loop
        }
        
	do things once per ten seconds//每十秒的操作
	backgroup loop:
		do something
		goto loop:
    }

1.2.2 每十秒的操作

每十秒的操作包括：

• 刷新100个脏页到磁盘（可能）
• 合并至多5个插入缓冲（总是）
• 将日志缓冲刷新到磁盘（总是）
• 删除无用的undo页（总是）
• 刷新100个或者10个脏页到磁盘（总是）

操作解释：

• InnoDB会先判断过去十秒钟磁盘IO的操作是否小于200次，如果是则认为此事有足够的磁盘IO能力，因此将100个脏页进行刷新。
• 接着进行合并插入缓冲，但是这个和之前的一秒操作不同，这次的操作是总会执行的！
• 然后进行日志刷新操作，也是总会执行。
• 之后对进一步执行full purge操作，即删除不用的Undo页。对表进行update，delete操作时，原先的行并不是直接被删除，而是被标记为删除，是因为一致性读的关系，所以需要保留版本信息。在full purge过程中，InnoDB会判断当前事务系统中已被删除的行是否可以删除，如果可以，每次最多尝试收回20个undo页
• 最后InnoDB会判断缓冲池中脏页的比例，如果有超过70%的脏页就刷新100个脏页到磁盘，如果脏页比例小于70%，则只需要刷新10%的脏页到磁盘

1.3 后台循环——backgroup loop

• 若当前没有用户活动（数据库空闲时）或数据库关闭时，就会切换到这个循环，其中有以下操作：
  1）删除无用的undo页（总是）
  2）合并20个插入缓冲（总是）
  3）跳回到主循环（总是）
  4）不断刷新100个页知道符合条件（可能，也有可能跳转到flush loop中完成）

1.4 刷新循环——flush loop

• 刚刚上面提到了，backgroup loop中的刷新操作可能会跳到flush loop中完成，如果该loop中也没有事情可做了，那么就会切换到suspend loop，将Master Thread挂起，等待事件的发生

1.5 暂停循环——suspend loop

• 如果flush loop中也没有事情可做了，那么就会切换到suspend loop，将Master Thread挂起，等待事件的发生

1.6 Master Thread完整伪代码

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        thread_sleep(1)    // sleep 1秒
        do log buffer flush to dish

        if (last_one_second_ios < 5% innodb_io_capacity) {
            do merget 5% innodb_io_capacity insert buffer
        }

        if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {  // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
            do buffer pool flush 100% innodb_io_capacity dirty page  // 刷新全部脏页到磁盘
        } else if (enable adaptive flush) {    // 如果开户了自适应刷新
            do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
        }

        if (no user activetuy) {
            goto background loop
        }
    }

    if (last_ten_second_ios < innodb_io_capacity) {  // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值（默认是200）
        do buffer pool flush 100%  innodb_io_capacity dirty page
    }

    do merge 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
    do log buffer flush to dish
    do flush purge

    if (buf_get_modified_ratio_pct > 70%) {
        do buffer pool flush 100% innodb_io_capacity dirty page
    } else {
        do buffer pool flush 10% innodb_io_capacity dirty page
    }
    goto loop

    backgroud loop:   // 后台循环
    do full purge     // 删除无用的undo页 （总是）
    do merger 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
    if not idle:      // 如果不空闲，就跳回主循环，如果空闲就跳入flush loop
    goto loop:    // 跳到主循环
    else:
        goto flush loop
    flush loop:  // 刷新循环
    do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘
    if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值（默认75%）
        goto flush loop            // 跳到刷新循环，不断刷新脏页，直到符合条件
        goto suspend loop          // 完成刷新脏页的任务后，跳入suspend loop
    suspend loop:
    suspend_thread()               //master线程挂起，等待事件发生
    waiting event
    goto loop;
}

2. 1.2.x版本之前的Master Thread

2.1 innodb_io_capacity参数的引入

问题：

• 在InnoDB存储引擎1.0.x版本之前的Master Thread中，我们会发现，InnoDB对IO其实是有限制的，当缓冲池向磁盘刷新的时候都做了一定的硬编码。但是如今固态磁盘快速发展，这种硬编码就很大程度上限制了innoDB对磁盘IO的性能
• 什么意思呢？举个例子：刚刚我们谈到InnoDB每次最多刷新100个脏页和合并20个插入缓冲，如果在写入密集的程序中，每秒可能会产生大于100个的脏页，大于20个的插入缓冲，这时候Master Thread似乎会“忙不过来”，或者说即使磁盘有一秒钟处理超过100个脏页和超过20个插入缓冲的能力，由于硬编码的原因，导致也只能每次刷新100和20个。这就是弊端！

解决：

• 所以在1.2.x之前，引入如下参数：
  innodb_io_capacity——表示磁盘IO的吞吐量
  1）在合并插入缓冲时，合并插入缓冲的数量为innodb_io_capacity的5%
  2）在刷新脏页时，刷新脏页的数量为innodb_io_capacity

2.2 innodb_max_dirty_pages_pct默认值的修改

问题：

• 之前innodb_max_dirty_pages_pct默认值是90，意味着脏页占缓冲池的90%，但是这个值太大了，超过90%才会刷新100个脏页。如果有很大的内存或者数据库服务的压力很大，这时候刷新脏页的速度反而会降低。

解决：

• 在经过不断的调试之后，将该值的默认值调成了75

2.3 innodb_adaptive_flushing参数的引入

• 该值影响每秒刷新脏页的数量
• 原来的刷新规则是：大于innodb_max_dirty_pages_pct才会刷新100个脏页，小于这个值不刷新。

解决：

• 随着innodb_adaptive_flushing参数的引入，InnoDB会通过一个函数来判断需要刷新脏页最适合数量，这个函数的原理是通过判断产生重做日志的速度来决定最适合刷新的脏页数量
• 所以现在当脏页比例小于innodb_max_dirty_pages_pct时也会刷新一定数量的脏页

2.4 innodb_purge_batch_size参数的引入

问题：

• 之前每次进行full purge操作时，每次都是最多回收20个undo页

解决：

• innodb_purge_batch_size决定回收undo页的数量，可以动态调整，默认值为20

3. 1.2.x版本的Master Thread

• 在1.2.x版本中再次对Master Thread进行了优化
• 伪代码如下：

 if (InnoDB is idle) {
    srv_master_do_idle_tasks();    // 每10秒操作
} else {
    srv_master_do_active_tasks();    // 每秒操作
}

• 对于脏页刷新的操作，从Master Thread线程分离到一个单独的Page Cleaner Thread中，减轻了Master Thread的工作，增加了并发性。