InnoDB(2.4) 关键特性：Insert Buffer

Insert Buffer

InnoDB的关键特性包括下面几个

• 插入缓冲（Insert Buffer）
• 两次写（Double write）
• 自适应哈希索引（Adaptive Hash Index）
• 异步IO（Async IO）
• 刷新邻接页（Flush Neighbor Page）

这些特性都给InnoDB存储引擎带来了更好的性能以及更高的可靠性

插入缓冲

插入缓冲并不是缓冲池里的一部分，他的结构与数据页一样，也是物理页的组成部分之一。

聚集索引

在InnoDB存储引擎中，聚集索引其实就是主键（关键字为primary key，唯一自增），一般是自动增长的列，插入时，对该列插入NULL值的话，会自动增长，但也有例外情况，比如指定值进行插入，或者主键是UUID这样的列，都可能会造成非连续的主键插入。

一般情况下，插入时，页中的记录会按照自增的主键去进行按顺序安放，这样做的好处当插入时，不需要离散地去访问另一个页中的记录（页其实是索引中的一个结点），因为是按顺序的，很可能插入的位置就是最后一个页的末尾。

但一个表中不仅仅有主键索引，还有辅助索引（关键字为key，不唯一且不自增），对于辅助索引会另外生成一棵非聚集索引B+树，当插入辅助索引列的值不是按顺序时，就需要离散地去访问非聚集索引页了（非聚集索引B+树的结点），由于随机读取的存在导致插入操作性能下降，其实总的来说，就是维护非聚集索引的代价影响了插入操作性能。

Insert Buffer

InnoDB设置了Insert Buffer就是针对非聚集索引的插入或者更新操作，有了Insert buffer之后，不再是每一次的插入都直接插入到辅助索引页中，而是先判断缓冲池中是否有该辅助索引页的缓冲，若有的话，则直接插入到缓冲池中的辅助索引页中（待后面进行刷新脏页进磁盘），如果没有，则先放入到Insert buffer中，然后再以一定的频率和或者发生指定情况进行Insert Buffer和辅助索引页的合并操作，通常是Insert buffer中已经含有多个插入操作，直接将多个合并到一个操作中（因为这里是同一个辅助索引页，其实就是一次性实现多次插入），这样就大大提高了辅助索引的插入效率。

对Insert Buffer的使用要包括下面两个条件

• 索引是辅助索引
• 索引不是唯一的（不是Unique，可以重复）

当然，这种方式提高了插入效率，但同时降低了恢复效率，因为使用Insert buffer来缓冲要插入的数据，而不是第一时间插入，假如数据还在Insert buffer中，此时发生了宕机，那么后续恢复数据时就要花费更多的时间了（因为数据没有第一时间持久化进磁盘，未进磁盘的数据都要进行恢复）

同时，索引不可以是唯一的，因为Insert buffer刷新进索引页时，并不会去判断插入的新数据是否是唯一，无法保证唯一性。

//查看INNODB引擎状态
SHOW ENGINE INNODB STATUS;

Ibuf指的是Insert buffer缓冲池的情况

• size：代表已经合并记录页的数量
• free list：代表空闲列表的长度
• seg size：Insert Buffer当前池的大小
• merges：代表合并的次数

merged operations指的是执行了多少次合并操作，至于下面的insert、delete mark、delete会在下面Change Buffer讨论。

Insert Buffer除了数据恢复慢的问题，还有另外一个问题就是他会占用缓冲池内存，尤其在写操作密集的情况下，会占用过多的缓冲池内存，会给其他操作带来一系列的影响。

Change Buffer

Change Buffer可以看作是Insert Buffer的升级，从这个版本开始（InnoDB 1.0.X版本引入了Change Buffer），InnoDB存储引擎可以对DML操作都进行缓冲（即可以对Insert、Delete、Update进行缓冲），分别为下面的缓冲池

• Insert Buffer
• Delete Buffer
• Purge Buffer

这三个Buffer和Insert Buffer一样，适用的对象仍然是不唯一的辅助索引（即满足上面提到的两个条件）

对一条记录进行UPDATE操作可能分为两个或三个过程

• 将记录标记为已删除
• 真正将记录删除
• 将新的记录进行插入

Delete Buffer对应的就是将记录标记为已删除，接下来Purge Buffer将记录真正删除（Insert Buffer将新的记录插入）。

可以通过innodb_change_buffer_max_size来查看Change Buffer最大使用内存的数量

SHOW VARIABLES LIKE "innodb_change_buffer_max_size";

默认值是25，表示最多可以占用缓冲池四分之一的空间。

接下来，我们回到上面提到的insert、delete mark、delete

• insert表示Insert Buffer执行合并的次数
• delete mark表示delete buffer执行合并的次数
• delete表示purege buffer执行合并的次数
• 下面的discarded表示，当Change Buffer发生merge操作时，表已经被删除，无序进行合并了

Insert Buffer的内部实现

Insert Buffer本质其实也是一棵B+树，在MySQL4.1版本之前，每张表都有一棵独立的Insert Buffer B+树，之后的版本，全局中只有一棵Insert Buffer B+树，存放在共享表空间中，负责对所有表的辅助索引进行Insert Buffer。

Insert Buffer是一棵B+树，因此也是由叶结点和内部结点构成，非叶子结点存放的是查询的search key（键值，共占9个字节），其构造如下图所示

前面提到Insert buffer全局只有一棵，那么首先要解决的问题就是要锁定哪张表，space就是表示待插入的记录所在表的表空间id(每张表都有独一无二的id)，占用了4个字节，marker是为了兼容老版本的Insert buffer的，占用了一个字节，offset表示页所在的偏移量，占用了4个字节

• space：占用4字节，储存插入记录的表id
• markder：占用1字节，兼容老版本需要
• offset：占用4字节，插入数据所在页的偏移量（即在页中的位置，根据偏移量去定位到正确位置）

当一个辅助索引要插入到页（space,offset）时，如果这个页不再缓冲池中，首先InnoDB引擎会根据上述规则创建一个search key，接下来就要开始查询Insert Buffer这棵B+树，search key成为内部结点，同时这条记录将被插入到Insert Buffer B+树的叶子结点中去。

但对于插入到叶子结点的数据并不是普通的插入，而是需要根据下面的规则进行插入

首先要构造出叶子结点，叶子结点的结构如下所示

space，markder,offset与内部结点保持一致，意义也是一样的（这里一共占了9个字节），不一样的就是多了一个metadata字段和后面的字段

metadata字段

metadata是一个4个字节的字段，里面保存了3个内容

• IBUF_REC_OFFSET_COUNT ：占两个字节，用来排序每个记录进入Insert buffer的顺序，保证对Insert buffer进行刷新时，是按插入顺序就行刷新。
• IBUF_REC_OFFSET_TYPE：占一个字节
• IBUF_REC_OFFSET_FLAGS：占一个字节

metadata后面开始，就是插入记录里面的数据了（主要是各个字段的数据）

Insert Buffer Bitmap

插入数据时，辅助索引页的数据可能会被插入到Insert Buffer中，那么此时就需要有另外一个页去存储标记每个辅助索引页的可用空间，这个页的类型就成为Insert Buffer Bitmap，这样就可以确保每一次Merge Insert Buffer页（辅助索引页合并插入缓冲）的成功执行

每个Insert Buffer Bitmap页用来追踪16384（$2^{14}$）个索引页，也就是256个区（64个页成为一个区，即$2^6$）

每个辅助索引页的信息在Insert Buffer Bitmap页中占用4位(bit)，信息分为下面3个部分

名称	大小（Bit）	说明
IBUF_BITMAP_FREE	2	表示该辅助索引页中的可用空间数量 0：标识无可用空间，1：标识剩余空间大于1/32页（512字节）,2：标识剩余空间大于1/16页，3：标识剩余空间大于1/8页。
IBUF_BITMAP_BUFFERED	1	标识该辅助索引页是否有记录被缓存在Inser Buffer中
IBUF_BITMAP_IBUF	1	标识该页为Insert Buffer中的索引页（Insert Buffer也有自己的索引页）

Merge Insert Buffer

Merge Insert Buffer是指将Insert Buffer中的数据合并到辅助索引页上，并且发生在下面几种情况下

• 辅助索引页被读取到缓冲池时
• Insert Buffer Bitmap页追踪到该辅助索引页已无可用空间时
• Master Thread进行刷新Insert Buffer

第一种情况是，当该辅助索引页被读取到缓冲池时，比如一条简单的SELECT语句，那么会先去检查Insert Buffer Bitmap，根据里面的IBUF_BITMAP_BUFFERED属性判断是否有记录被缓冲在Insert Buffer中，若有，则将Insert Buffer B+树中属于该页的记录插入到该辅助索引页中，这样就实现了可以将多次的插入记录一次操作合并到了原有的辅助索引中，大大提高了性能。

第二种情况是，Insert Buffer Bitmap的IBUF_BITMAP_FREE属性记录了每个辅助索引页的可用空间，并且要保证至少有1/32页的空间，即不能让Insert Buffer Bitmap的IBUF_BITMAP_FREE属性为0（至少大于等于1），若插入辅助索引记录时，检测到插入记录后可用空间会少于1/32页，则会进行强制进行合并操作，强制读取辅助索引页，并将Insert Buffer中所有属于该辅助索引页的数据一并插入到辅助索引页中。

最后一种情况，就是之前介绍Mater Thread的时候，每秒或者每十秒的操作都会进行刷新Insert Buffer的操作（即Merge Insert Buffer），不同之处只是在于merge操作刷新页的数量可能不同（是根据srv_innodb_io_capactiy的百分比去决定要合并多少个插入记录的）。

关于Master Thread如何选择要刷新的记录呢？

它是随机地选择Insert Buffer B+树的一个页，然后根据该页的space找到后面同属于该辅助索引的数据（这样就可以不用执行merge Insert Buffer中刷新不同的辅助索引，避免了离散读取，提高了效率）。