MySQL刷脏页优化方案汇总

目录

1. 改善FLU刷脏

1.1 增加并发（5.7.4）：

1.2 改善链表遍历方式：

1.3 平衡刷脏权重（5.7.6）

1.4 用户线程在检查Redo 空间时不参与刷脏（5.7.6）

1.5 为page cleaner线程设置更高的优先级（5.7.6）

2. 改善LRU刷脏

2.1 脏页 to FreeList

3. LRU和FLU刷脏分离（Percona）

4. 参考链接

---

1. 改善FLU刷脏

1.1 增加并发（5.7.4）：

多个Page Cleaner线程，每个BufferPool一个 Page Cleaner线程

1.2 改善链表遍历方式：

当某个线程对buffer pool中的page进行操作时，例如需要从LRU中移除Page时，如果当前的page被设置为hp，就要将hp更新为当前Page的前一个page。当完成当前page的flush操作后，直接使用hp中存储的page指针进行下一轮flush。

在5.6版本中针对Flush list的扫描做了一定的修复，使用一个指针来记录当前正在flush的page，待flush操作完成后，再看一下这个指针有没有被别的线程修改掉，如果被修改了，就回溯到链表尾部，否则无需回溯。但这个修复并不完整，在最差的情况下，时间复杂度依旧不理想。

因此在5.7版本中对这个问题进行了彻底的修复，使用多个名为hazard pointer的指针，在需要扫描LIST时，存储下一个即将扫描的目标page，根据不同的目的分为几类：

• flush_hp: 用作批量刷FLUSH LIST
• lru_hp: 用作批量刷LRU LIST
• lru_scan_itr: 用于从LRU链表上驱逐一个可替换的page，总是从上一次扫描结束的位置开始，而不是LRU尾部
• single_scan_itr: 当buffer pool中没有空闲block时，用户线程会从FLUSH LIST上单独驱逐一个可替换的page 或者 flush一个脏页，总是从上一次扫描结束的位置开始，而不是LRU尾部。

1.3 平衡刷脏权重（5.7.6）

根据buffer pool实例的脏页分布来决定刷脏

1.4 用户线程在检查Redo 空间时不参与刷脏（5.7.6）

1.5 为page cleaner线程设置更高的优先级（5.7.6）

 

2. 改善LRU刷脏

2.1 脏页 to FreeList

LRU刷脏是为了把部分PAGE放到FREE_LIST。

之前方案在遇到脏页刷脏后，还要重新遍历才能把PAGE放到FREE LIST。消耗遍历成本。

5.7 优化成在buf_page_io_complete中进行判断。如果是LRU刷脏，尝试把PAGE放到FREE LIST中。

 

3. LRU和FLU刷脏分离（Percona）

LRU是为了搞空闲页

FLU是为了刷脏

将两者分离，更好的适应不同的业务需求

4. 参考链接

http://mysql.taobao.org/monthly/2015/02/01/

http://mysql.taobao.org/monthly/2015/03/02/

http://mysql.taobao.org/monthly/2017/05/01/

http://mysql.taobao.org/monthly/2017/11/05/

http://mysql.taobao.org/monthly/2018/09/02/