Innodb：如何计算异步/同步刷脏及checkpoint的临界范围

本文主要是记录Innodb在初始化日志子系统时，如何计算异步/同步刷脏或checkpoint的临界范围

代码分析基于MySQL 5.6.11

///

相关配置为：

innodb_log_buffer_size=200M
innodb_log_file_size=1000M
innodb_log_files_in_group=4

innodb_flush_log_at_trx_commit = 1

innodb_thread_concurrency = 64

 

刷脏和做checkpoint的临界条件在系统启动初始化日志系统时即被确定了，backtrace 如下：

innobase_start_or_create_for_mysql

     ->log_group_init

2151                 log_group_init(0, i, srv_log_file_size * UNIV_PAGE_SIZE,

2152                                SRV_LOG_SPACE_FIRST_ID,

2153                                SRV_LOG_SPACE_FIRST_ID + 1);

 

                 ->log_calc_max_ages

                    

 

log_calc_max_ages:

 

1.计算当前redo log日志组的最大容纳LSN（log_group_get_capacity）:

smallest_capacity =  (group->file_size – LOG_FILE_HDR_SIZE) * group->n_files = (innodb_log_file_size-4*512)*4 = 4194295808

 

smallest_capacity =  smallest_capacity – smallest_capacity / 10;  // 为了安全起见，保留10分之一的空间

 

2.检查在当前thread concurrency(srv_thread_concurrency)限制下，日志组是否拥有足够的空闲空间:

        free = LOG_CHECKPOINT_FREE_PER_THREAD * (10 + srv_thread_concurrency)+ LOG_CHECKPOINT_EXTRA_FREE  =  (4*16384) * (10 + 64) + 8*16384 = 4980736

 

如果free > smallest_capacity /2的话，那么就会错误退出，表明innodb_log_file_size设的太小了。

否则，预留边界：

 margin = smallest_capacity – free;

 margin = margin – margin / 10  = 3392896943;

 

 

实际上margin的计算可以总结为：

margin = {

                            [ (innodb_log_file_size-LOG_FILE_HDR_SIZE) * innodb_log_files_in_group ] * (9/10) 

                            – 

                            [ LOG_CHECKPOINT_FREE_PER_THREAD * (10 + innodb_thread_concurrency) + LOG_CHECKPOINT_EXTRA_FREE]

               } * (9/10)

 

 

 

 

log_sys->log_group_capacity = smallest_capacity  =   3774866228;              

 

log_sys->max_modified_age_async = margin– margin / LOG_POOL_PREFLUSH_RATIO_ASYNC  =  margin * (7/8)  = 2968784826           //当lsn -buf_pool_get_oldest_modification()超过这个值时， 需要做异步刷脏页

 

log_sys->max_modified_age_sync = margin– margin / LOG_POOL_PREFLUSH_RATIO_SYNC    = margin *(15/16)    = 3180840885          //当lsn -buf_pool_get_oldest_modification()超过这个值时， 需要做同步刷脏页

 

log_sys->max_checkpoint_age_async = margin – margin

                / LOG_POOL_CHECKPOINT_RATIO_ASYNC           =   margin *(31/32) = 3286868914          //当lsn – last_checkpoint_lsn超过该值时，需要做一次异步checkpoint

 

log_sys->max_checkpoint_age = margin =  3392896943                                                                   //lsn – last_checkpoint_lsn不允许超过该值，否则需要做同步checkpoint

 

 

上面这几个变量，除了第一个之外，都是用于在函数log_checkpoint_margin中进行判断，log_sys->check_flush_or_checkpoint是判断是否flush/checkpoint的关键变量

 

主要判断逻辑如下：

 

1.如果log_sys->check_flush_or_checkpoint为false，直接返回，表明不需要flush或者checkpoint

 

2.找出当前所有buffer pool实例中最老的oldesrt_lsn，从每个bp->flush_list的尾部读取(log_buf_pool_get_oldest_modification())

 

3.如果log->lsn – oldest_lsn大于log_sys->max_modified_age_sync，表明需要做一次同步刷新，将lsn 推进到新的lsn位置(log_preflush_pool_modified_pages)：

 LSN范围为：2 * (log->lsn – oldest_lsn – log_sys->max_modified_age_sync)  + oldest_lsn

 

             如果刷新失败，表明同时有别的线程也在刷脏，则将check_flush_or_checkpoint设置为TRUE，回到第一步

 

4.判断是否需要做checkpoint

checkpoint_age = log->lsn – log->last_checkpoint_lsn;

如果checkpoint_age > log_sys->max_checkpoint_age， 表示需要做一次同步checkpoint;

如果 log_sys->max_checkpoint_age_async  < checkpoint_age   <=  log_sys->max_checkpoint_age ，表示需要做一次异步的checkpoint，并设置log_sys->check_flush_or_checkpoint = false;

如果checkpoint_age  <=log_sys->max_checkpoint_age_async  ，则无需做checkpoint，并设置log_sys->check_flush_or_checkpoint = false;

 

checkpoint 调用函数log_checkpoint(checkpoint_sync, FALSE); 如果是同步checkpoint（checkpoint_sync为TRUE） 还要返回到第1步继续判断

 

另外，这几个变量在函数log_close中会被用到，它会去做一件重要的事情：设置log_sys->check_flush_or_checkpoint。

 

至于异步刷脏，log_sys->max_modified_age_async被封装在函数log_get_max_modified_age_async中， 被函数af_get_pct_for_lsn。显而易见，异步刷脏是由page cleaner线程来完成的。

在函数af_get_pct_for_lsn中，根据当前的LSN，计算需要以IO capacity的百分之几来刷脏

 

当当前lsn-buf_pool_get_oldest_modification()超过log_sys->max_modified_age_async时：

 

age = log_sys->lsn – buf_pool_get_oldest_modification()

lsn_age_factor = (age *100)/log_sys->max_modified_age_async )

 

返回值为：

pct =   [

                 (innodb_io_capacity_max/innodb_io_capacity) 

                 *

                 (lsn_age_factor * sqrt((double)lsn_age_factor))

          ] /7.5

 

 

另外，如果参数innodb_adaptive_flushing设置为OFF，且没有超过log_get_max_modified_age_async()的话，直接返回0

 

Page cleaner线程会同时根据LSN 和脏页比例来获取pct，并取其中的最大值。