一. InnoDB 1.0x版本之前的Master Thread
Master Thread具有最高的线程优先级别,内部由多个循环组成:主循环(loop)、后台循环(background loop)、刷新循环(flush loop)、暂停循环(suspend loop),Master Thread会根据数据库运行的状态进行循环之间的切换。
Loop主循环(大多数操作都在这个循环下)这个由两大部分操作,每秒和每10秒操作:
void master_thread() {
loop:
for(int i=0; i<10; i++) {
do thing once per second
sleep 1 second if necessary
}
do things once per then seconds
goto loop;
}
可以发现,loop循环是通过thread sleep来实现的,意味着每秒或者每10每秒的操作并不是十分的精确的,在负载大的情况下,可能会有不同程度的延迟(delay),只能说大概在这个频率下。
每秒一次的操作包括:
-
日志缓冲刷新到磁盘(总是):即使事务没有提交,InnoDB也会每秒将重做日志缓冲刷新到重做日志文件中,因此可以理解为什么再大的事务提交,时间也是很短的。
-
合并插入缓冲insert buffer(可能):并不是每秒刷新的,如果前一秒的IO次数小于5,则认为IO压力小,可以执行合并插入缓冲的操作。
-
最多刷新100个InnoDB的缓冲池脏页到磁盘(可能):判断当前缓冲池中脏页的比例(buf_get_modifyed_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90)如果超过了这个阈值,InnoDB存储引擎认为需要做同步操作,将100个脏页写入磁盘中。
-
如果当前没有用户活动,切换到background loop(可能)
每10秒的操作:
-
刷新100个脏页到磁盘(可能):InnoDB引擎会先判断过去10秒之内磁盘的IO操作是否小于200次,如果是,则将100个脏页舒心到磁盘。
-
合并至多5个插入缓冲(总是)
-
将日志缓冲刷新到磁盘(总是)
-
删除无用的undo页(总是):InnoDB存储引擎会执行full purse操作,即删除无用的Undo页,对表进行update、delete这类操作,原先行被标记删除,但是因为一致性读读关系,需要保留这些行的版本号,这时候会进行回收删除,每次最多尝试回收20个undo页。
-
刷新100个或者10个脏页到磁盘(总是):判断当前缓冲池中脏页的比例(buf_get_modifyed_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(70%)如果超过了70%,则刷新100个脏页到磁盘中;如果比例小于70%,则只需要刷新10%的脏页到磁盘。
接着来看background loop 若当前没有用户活动(数据库空闲时)或者数据库关闭(shutdown),就会切换到这个循环执行以下操作:
-
删除无用的undo页(总是)
-
合并20个插入缓冲(总是)
-
跳回到主循环(总是)
-
不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成):如果fulsh loop 页没有什么事情可以做了,InnoDB存储引擎会切换到suspend loop,将Master Thread刮起。
若flush loop中也没有什么事情可以做了,InnoDB引擎会切换到suspend_loop,将Master Thread挂起,等待事件发生。若用户启动了InnoDB引擎,却没有使用任何InnoDB存储引擎的表,那么Master Thread总是处于挂起的状态。
下面是, InnoDB 1.0x版本之前Master Thread完整的伪代码:
void master_thread() {
oto loop;
loop:
for(int i=0; i<10; i++) {
thread_sleep(1) // sleep 1秒
do log buffer flush to dish
if (last_one_second_ios < 5) {
do merget at most 5 insert buffer
}
if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) { // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认90)
do buffer pool flush 100 dirty page // 刷新100个脏页到磁盘
}
if (no user activetuy) {
goto background loop
}
}
if (last_ten_second_ios < 200) { // 如果过去10内磁盘IO次数小于200
do buffer pool flush 100 dirty page
}
do merge at most 5 insert buffer // 合并至多5个插入缓冲(总是)
do log buffer flush to dish
do flush purge
if (buf_get_modified_ratio_pct > 70%) {
do buffer pool flush 100 dirty page
} else {
do buffer pool flush 10 dirty page
}
goto loop
backgroud loop: // 后台循环
do full purge // 删除无用的undo页 (总是)
do merger 20 insert buffer // 合并插入缓冲是20(总是)
if not idle: // 如果不空闲,就跳回主循环,如果空闲就跳入flush loop
goto loop: // 跳到主循环
else:
goto flush loop
flush loop: // 刷新循环
do buffer pool flush 100 dirty page // 刷新100个脏页到磁盘
if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值
goto flush loop // 跳到刷新循环,不断刷新脏页,直到符合条件
goto suspend loop // 完成刷新脏页的任务后,跳入suspend loop
suspend loop:
suspend_thread() //master线程挂起,等待事件发生
waiting event
goto loop;
}
二. InnoDB 1.2x版本之前的Master Thread
在如今磁盘技术的快速发展中,对于缓冲池向磁盘刷新时都做了一定的hard coding,这些限制很大程度上限制了InnoDB存储引擎对磁盘IO的性能,尤其是写入性能。
与之前版本的区别:
-
因此提供参数innodb_io_capacity用来表示IO的吞吐量,默认200,对于刷新到磁盘页的数量,会按照innodb_io_capacity的百分比来控制。规则如下:
-
在合并插入缓冲时,合并插入缓冲的数量为innodb_io_capacity值5%;
-
在从缓冲池刷新脏页时,刷行脏页的数量为innodb_io_capcity。
-
-
从InnoDB1.0x版本开始,innodb_max_dirty_pages_pct的默认值变位来了75
-
InnoDB1.0x版本还有一个参数innodb_adaptive_flushing(自适应地刷新),该值影响每秒刷新脏页的数量。原来的刷新规则:脏页所占比例小于innodb_max_dirty_pages_pct时,不刷新;大于innodb_max_dirty_pages_pct时,刷新100页。随着innodb_adaptive_flushing参数的引入,InnoDB引擎会通过一个buf_flush_getdesired_flush_rate的函数来判断刷新脏页最合适的数量。因此,当脏页的比例小于innodb_max_dirty_pages_pct时,也会刷新一定量的脏页。
-
之前每次full purge操作时,最多回收20个undo页。从InnoDB1.0x开始引入参数innodb_purge_batch_size,该参数可以控制回收undo页的数量,默认值为20。
通过以下为代码,我们可以得到InnoDB1.2X前Master Thread的工作方式:
void master_thread() {
loop:
for(int i=0; i<10; i++) {
thread_sleep(1) // sleep 1秒
do log buffer flush to dish
if (last_one_second_ios < 5% innodb_io_capacity) {
do merget 5% innodb_io_capacity insert buffer
}
if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) { // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
do buffer pool flush 100% innodb_io_capacity dirty page // 刷新全部脏页到磁盘
} else if (enable adaptive flush) { // 如果开户了自适应刷新
do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
}
if (no user activetuy) {
goto background loop
}
}
if (last_ten_second_ios < innodb_io_capacity) { // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值(默认是200)
do buffer pool flush 100% innodb_io_capacity dirty page
}
do merge 5% innodb_io_capacity insert buffer // 合并插入缓冲是innodb_io_capacity的5%(10)(总是)
do log buffer flush to dish
do flush purge
if (buf_get_modified_ratio_pct > 70%) {
do buffer pool flush 100% innodb_io_capacity dirty page
} else {
do buffer pool flush 10% innodb_io_capacity dirty page
}
goto loop
backgroud loop: // 后台循环
do full purge // 删除无用的undo页 (总是)
do merger 5% innodb_io_capacity insert buffer // 合并插入缓冲是innodb_io_capacity的5%(10)(总是)
if not idle: // 如果不空闲,就跳回主循环,如果空闲就跳入flush loop
goto loop: // 跳到主循环
else:
goto flush loop
flush loop: // 刷新循环
do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘
if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值(默认75%)
goto flush loop // 跳到刷新循环,不断刷新脏页,直到符合条件
goto suspend loop // 完成刷新脏页的任务后,跳入suspend loop
suspend loop:
suspend_thread() //master线程挂起,等待事件发生
waiting event
goto loop;
}
三. InnoDB 1.2x版本的Master Thread
在InnoDB1.2x版本中,Master Thread的伪代码如下:
if (InnoDB is idle) {
srv_master_do_idle_tasks(); // 每10秒操作
} else {
srv_master_do_active_tasks(); // 每秒操作
}
其中 srv_master_do_idle_tasks(); 就是之前版本中每10秒的操作,srv_master_do_active_tasks()处理的是之前每秒中的操作。同时对于刷新脏页的操作,从Master Thread献成分离到一个单独的Page Cleaner Thread,从而减轻了Master Thread的工作,同时进一步提到了系统的并发性。