InnoDB存储引擎

InnoDB存储引擎

InnoDB体系结构

后台进程——》InnoDB缓冲池——》磁盘文件

后台进程

主要是负责刷新缓存池里的数据，保证缓冲池中的数据是最近的。

1. Master Thread：将缓冲池中的数据异步刷新到磁盘中，保证数据的一致性。

2. IO Thread：使用大量的AIO进行IO调用，处理IO请求

   ​ Innodb_write_io_threads：4

   ​ innodb_read_io_threads：4

3. Purge Thread：清理已经使用并且分配的UNDO页

4. Page Cleaner Thread：脏页的刷新操作

缓冲池

InnoDB存储引擎是基于磁盘存储的，利用缓冲池提高MySQL的整体性能。

主要作用：

• 维护InnoDB访问的数据的数据结构
• 重做日志缓冲
• 缓存磁盘上的数据，提高访问速度，同时将存储未刷新到磁盘上的数据

使用innodb_buffer_pool_size分配缓冲池大小

使用innodb_buffer_pool_instances设置缓冲池实例个数

读取磁盘文件过程：

1. 检查该页是否在缓冲池中被命中
2. 如果有，则直接读取；如果没有，则读取磁盘上的页，存入缓冲池（这个过程被称为将页“FIX”到缓冲池）

缓冲池采用CheckPoint机制将缓冲池中修改过的页刷新到硬盘

缓冲池内存结构

缓冲池中主要包括：索引页、数据页、自适应哈希索引、插入缓冲、UNDO页、数据字典信息、锁信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-voX3MAyR-1598189072334)(D:\学习\数据库\MySQL\img\InnoDB内存数据对象.jpg)]

LRU List、Free List和Flush List

缓冲池通过LRU（Latest Recent Used）算法用来管理。

使用最频繁的数据（热点数据）放入LRU List的前端，而使用最少的数据放入List的末尾。当缓冲池不能放入新读取的页时，删除List末尾的页，然后将新读取的页插入到LRU List的前端。（为了减少数据移动次数，LRU List一般使用链表实现）

在MySQL中对传统的LRU算法进行改进。

为什么改进？

传统LRU算法的缺陷：

• 预读失效：数据访问，通常都遵循“集中读写”的原则，使用一些数据，大概率会使用附近的数据，这就是所谓的“局部性原理”，它表明提前加载是有效的，确实能够减少磁盘IO。提前加载的过程称为预读。预读失效是指提前把预读得页放入了缓冲池，但最终MySQL并没有从页中读取数据。当预读失效时，会将真正的热点数据刷出List，将不是热点的数据存放在LRU List中；
• 缓冲池污染：要批量扫描大量数据时，可能导致把缓冲池的所有页都替换出去，导致大量热数据被换出，MySQL性能急剧下降。

针对预读失效的优化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k6OvjpGs-1598189072338)(D:\学习\数据库\MySQL\img\innodb-buffer-pool-list.png)]

MySQL将LRU List分为new List和old List，比例为5:3，new List和old List的分割点称为midpoint。每次将预读的数据插入old List的头部，即整个列表的5/8处，当真正使用到这个页时，才插入到new List的头部。

使用参数innodb_old_blocks_pct来指定midpoint的位置，默认为37%。

针对缓冲池污染的优化

InnoDB引入了另一个参数innodb_old_blocks_time来解决这个问题。该参数表示也读取到midpoint位置后还需要过多久才能加入到new List部分，使用该参数可以一定程度上保证热点数据不被刷新出LRU List。

Free List

存放空的页（Free page），当数据库刚刚启动时，LRU List为空。当需要从缓冲池中申请页时，先询问Free List是否还有空闲页，有则删除Free List的空闲页，放入到LRU List中。否则，LRU List直接删除尾端的页，将多出来的空间分配给新页。

Unzip List

管理压缩页（大小非16K的页），如1K、2K、4K、8K

Flush List

用来管理脏页（dirty page），即LRU列表中的页被修改了之后，与磁盘中的数据不一致。InnoDB使用Flush List来管理脏页，采用CheckPoint机制刷新到磁盘，保证数据的一致性。注意：脏页同时存在与LRU List与Flush List中，两者不冲突，LRU List管理数据可用性。

重做日志缓冲（redo log buffer）

InnoDB现将重做日志存储到重做日志缓冲，然后按一定频率刷新到重做日志文件。

innodb_log_buffer_size=8M

将重做日志刷新到重做日志文件中的3中情况：

• Master Thread每秒刷新
• 每个事物提交时
• 当重做日志缓冲区小于剩余空间的1/2时

额外内存池

log_buffer_size=8M

将重做日志刷新到重做日志文件中的3中情况：

• Master Thread每秒刷新
• 每个事物提交时
• 当重做日志缓冲区小于剩余空间的1/2时

额外内存池

在对一些数据结构本身的内存进行分配时,需要从额外的内存池中进行申请,当该区域的内存不够的时候,会从缓冲池进行申请。