mysql之InnoDB存储引擎

1、逻辑存储结构

在mysql中，表数据在后台是怎么保存的呢？

例如stu表为例子，mysql的表数据存储路径是C:\ProgramData\MySQL\MySQL Server 8.0\Data\itcast\stu.idb.而此idb的存储结构是怎么样的呢？

 idb文件中存放的是索引、表、字段和相关元信息。

Tablespace 表空间：

表空间是InnoDB引擎逻辑结构的最上层，一个mysql实例中包含多个表空间，用于记录存储记录、索引等数据。

segment:

段分为索引段、数据段、回滚段。InnoDB是索引组织表，数据段是B+数的叶子节点，索引段是B+树的非叶子节点。段用来管理多个区。

Extent：

区，每个区的大小有1M，一个区包含64个连续页，每个页的大小有16K

Page：

页，是InnoDB引擎磁盘管理的最小单元，每个页的大小是16K，存储引擎每次向磁盘申请4-5个区。

row：

行，数据则是按照行存放的。

行中有两个隐藏字段：

trx_id:每次对记录进行改动时，都会将对应的事务id复制给trx_id隐藏字段

roll_pointer: 每次对记录进行改动时，都会将旧的记录记录到undo log日志中，然后这个隐藏列相当于一个指针，可以通过它来找到记录修改之前的信息。

2、InnoDB引擎架构

我们知道一条sql的执行过程是：（1）链接服务端，权限认证。（2）经过分析器对语法进行分析。（3）到优化器，生成执行计划，优化sql语句。（4）到执行器，操作存储引擎，返回相应结果。那在存储引擎中对增删改查是怎么做的呢？

存储引擎架构如下图所示，分为内存结构和磁盘结构。基本思路是：对sql的增删改查，都在内存中进行相应的处理，处理完成的数据，存储引擎会以一定频率刷新到磁盘中。这样做的目的是为了减少磁盘IO，提高处理速度。

2.1 内存结构

（1）Buffer pool

此缓存包含了索引页和数据页，还包含undo页，插入页，自适应哈希索引以及锁信息。这是主内存的一个区域，里面可以缓存磁盘经常操作的真实数据，在执行增删改查操作时，先操作缓冲池中的数据，然后存储引擎以一定频率将缓存的数据刷新到磁盘中。

此缓存池是以页为单位进行存储的。默认是128M。页的类型分为：

1、free page ：空闲page 未被使用

2、clean page ：未修改过的page  

3、dirty page：修改过的page 就是说数据和磁盘数据不一致

（2）change buffer

上述已经有了buffer pool。为什么还需要change buffer？

change buffer  顾名思义是改变的缓冲数据，在之前的文章mysql之SQL优化里面讲过，索引最底层叶子节点的数据是顺序排列的，由于数据是存放在页中，而页中的raw行是有限的，每页容量是16K，当数据插入和删除时，可能会出现页合并和页分裂。如果直接对磁盘进行操作，磁盘I/O的压力是很大的，所以在缓冲中进行相应的DML操作，但是此change buffer只适用于二级索引。我们知道聚集索引是唯一索引，叶子节点存放的行数据，由于是唯一，所以DML操作时，需要检测唯一性，读取磁盘数据，所以在buffer pool中做即可。如果buffer pool中没有此数据，并且是二级索引的条件下，则先将更新数据保存到change buffer中，当读取此数据时，才会触发merge，然后将数据刷新到buffer pool中，在刷新到磁盘中。下图很详细描述此流程。

因此，保存chage buffer的前提条件是：

1、二级索引

2、在buffer pool中没有缓存数据

 （3）Log buffer

日志缓冲：用于保存到磁盘的log日志数据（redo log ，undo log），默认大小是16MB

2.2、磁盘结构

(1) System Tablespace

表空间分为系统表空间和用户的表空间，之前我们讲的tablespace是用户的表空间，此为系统表空间，默认文件名是ibdata1，系统表空间是更改缓冲区的存储区域。如果表是在系统表空间而不是每个表文件或通用表空间中创建 的，它也可能包含表和索引数据。

（2）File-Per-Table Tablespaces

如果开启了innodb_file_per_table开关 ，则每个表的文件表空间包含单个InnoDB表的数据和索 引 ，并存储在文件系统上的单个数据文件中。默认此innodb_file_per_table是开启的

（3） General Tablespaces

通用表空间，需要通过 CREATE TABLESPACE 语法创建通用表空间，在创建表时，可以指定该表空间。

（4） Undo Tablespaces

撤销表空间，MySQL实例在初始化时会自动创建两个默认的undo表空间（初始大小16M），用于存储 undo log日志。

（6）Temporary Tablespaces

InnoDB 使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。

（7）Doublewrite Buffer Files

双写缓冲区，innoDB引擎将数据页从Buffer Pool刷新到磁盘前，先将数据页写入双写缓冲区文件 中，便于系统异常时恢复数据。

（8）Redo Log

重做日志，是用来实现事务的持久性。事务提交前会将所有修改信息保存到redo log中，当脏页到磁盘发生错误时，可以通过redo log进行还原。

3、后台线程

后台线程，分为4类：

1、Master Thread

2、IO Thread

3、Purge Thread

4、Page cleaner Thread

1、Master Thread

核心后台线程，负责调度其他线程，将缓存池中的数据刷新到磁盘中，保持数据的一致性。还包含：脏页的刷新、合并插入缓存、undo页的回收等

2、IO Thread

处理对磁盘的读写操作。包含Read thread、Write thread、log thread、insert buffer thread

3、Purge Thread

用于回收事务已经提交的undo log，当事务已经提交后，undo log 可能就不需要了，需要此线程回收undo log

4、Page Cleaner Thread

协助 Master Thread 刷新脏页到磁盘的线程，它可以减轻 Master Thread 的工作压力，减少阻 塞。