MySQL8.0 InnoDB并行查询特性

概述

MySQL经过多年的发展已然成为最流行的数据库，广泛用于互联网行业，并逐步向各个传统行业渗透。之所以流行，一方面是其优秀的高并发事务处理的能力，另一方面也得益于 MySQL 丰富的生态。MySQL 在处理 OLTP 场景下的短查询效果很好，但对于复杂大查询则能力有限。最直接一点就是，对于一个 SQL 语句，MySQL 最多只能使用一个 CPU 核来处理，在这种场景下无法发挥主机CPU多核的能力。MySQL 没有停滞不前，一直在发展，新推出的 8.0.14 版本第一次引入了并行查询特性，使得check table和 select count(*) 类型的语句性能成倍提升。虽然目前使用场景还比较有限，但后续的发展值得期待。

使用方式

通过配置参数 innodb_parallel_read_threads 来设置并发线程数，就能开始并行扫描功能，默认这个值为4。我这里做一个简单的实验，通过sysbench导入2亿条数据，分别配置 innodb_parallel_read_threads 为1，2，4，8，16，32，64，测试并行执行的效果。测试语句为

select count(*) from sbtest1;

横轴是配置并发线程数，纵轴是语句执行时间。从测试结果来看，整个并行表现还是不错的，扫描2亿条记录，从单线程的18s，下降到32线程的1s。后面并发开再多，由于数据量有限，多线程的管理消耗超过了并发带来的性能提升，不能再继续缩短SQL执行时间。

MySQL并行执行

实际上目前 MySQL 的并行执行还处于非常初级阶段，如下图所示，左边是之前MySQL串行处理单个SQL形态；中间的是目前MySQL版本提供的并行能力，InnoDB引擎并行扫描的形态；最右边的是未来MySQL要发展的形态，优化器根据系统负载和SQL生成并行计划，并将分区计划下发给执行器并行执行。并行执行不仅仅是并行扫描，还包括并行聚集，并行连接，并行分组，以及并行排序等。目前版本MySQL的上层的优化器以及执行器并没有配套的修改。因此，下文的讨论主要集中在InnoDB引擎如何实现并行扫描，主要包括分区，并行扫描，预读以及与执行器交互的适配器类。

分区

并行扫描的一个核心步骤就是分区，将扫描的数据划分成多份，让多个线程并行扫描。InnoDB引擎是索引组织表，数据以B+tree的形式存储在磁盘上，节点的单位是页面(block/page)，同时缓冲池中会对热点页面进行缓存，并通过LRU算法进行淘汰。分区的逻辑就是，从根节点页面出发，逐层往下扫描，当判断某一层的分支数超过了配置的线程数，则停止拆分。在实现时，实际上总共会进行两次分区，第一次是按根节点页的分支数划分分区，每个分支的最左叶子节点的记录为左下界，并将这个记录记为相邻上一个分支的右上界。通过这种方式，将B+tree划分成若干子树，每个子树就是一个扫描分区。经过第一次分区后，可能出现分区数不能充分利用多核问题，比如配置了并行扫描线程为3，第一次分区后，产生了4个分区，那么前3个分区并行做完后，第4个分区至多只有一个线程扫描，最终效果就是不能充分利用多核资源。

二次分区

为了解决这个问题，8.0.17版本引入了二次分区，对于第4个分区，继续下探拆分，这样多个子分区又能并发扫描，InnoDB引擎并发扫描的最小粒度是页面级别。具体判断二次分区的逻辑是，一次分区后，若分区数大于线程数，则编号大于线程数的分区，需要继续进行二次分区；若分区数小于线程数且B+tree层次很深，则所有的分区都需要进行二次分区。相关代码如下：

split_point = 0;
if (ranges.size() > max_threads()) {
   //最后一批分区进行二次分区                                      
   split_point = (ranges.size() / max_threads()) * max_threads();          
 } else if (m_depth < SPLIT_THRESHOLD) {                                  
   /* If the tree is not very deep then don't split. For smaller tables    
   it is more expensive to split b