3.5 InnoDB引擎
3.5.1 逻辑存储结构
3.5.2 架构
3.5.2.1 内存结构
-
Buffer Pool:缓冲池是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据(若缓冲池没有数据,则从磁盘加载并缓存),然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快处理速度。缓冲池以Page页为单位,底层采用链表数据结构管理Page,根据状态,将Page分为三类:
- free page:空闲page,未被使用
- clear page:被使用page,数据没有没修改过
- dirty page:脏页,被使用page,数据被修改过,页中数据与磁盘的数据产生了不一致
-
Change Buffer:更改缓冲区(针对于非唯一二级索引页),在执行DML语句时,如果这些数据page没有在Buffer Pool中,不会直接操作磁盘,而会将数据变更存在更改缓冲区change buffer 中,在未来数据被读取时,再将数据合并恢复到buffer pool中,再将合并后的数据刷新到磁盘中。
-
Change Buffer存在的意义
与聚集索引不同,二级索引通常是非唯一索引,并且以相对随机的顺序插入二级索引,同样,删除和更新可能会影响索引树中不相邻的二级索引页,如果每一次都操作磁盘,会造成大量的磁盘IO,有了change buffer后,可以在缓冲池中进行合并处理,减少磁盘IO
-
Adaptive Hash Index:自适应hash索引,用于优化对buffer pool数据查询,InnoDB存储引擎会监控对表上各索引页的查询,如果观察到hash索引可以提升速度,则建立hash索引,自适应hash,无须人工干预,是系统根据情况自动完成
-
Log Buffer:日志缓冲区,用来保存要写入到磁盘中的Log日志数据(redo log,undo log),默认大小为16MB,日志缓冲区的日志会定期刷新到磁盘中,如果需要更新、插入或删除许多行的事务,增加缓冲区的大小可以节省磁盘IO。
参数:
innodb_log_buffer_size:缓冲区大小 innodb_flush_log_at_trx_commot:日志刷新到磁盘时机,当为1:日志在每次事务提交时写入并刷新到磁盘;0:每秒将日志写入并刷新到磁盘一次;2:日志在每次事务提交后写入,并每秒刷新到磁盘一次
3.5.2.2 磁盘结构
-
System Tablespace:系统表空间是更改缓冲区的存储区域,如果表是在系统表空间而不是每个表文件或通用表空间中创建的,他也可能包含表和索引数据(在MySQL5.x版本中还包含innoDB数据字典、undolog等)
参数:
innodb_data_file_path
-
File-Per-Table Tableapaces:每个表的文件表空间包含单个InnoDb表的数据和索引,并存储在文件系统上的单个数据文件中
参数:
innodb_file_per_table:默认开启,表示每张表都会有独立的表空间,不会在系统表空间内
-
General Tablespaces:通用表空间,需要通过create Tablespace 语法创建通用表空间,在创建表时,可以指定该空间
-
Undo Tablespaces:撤销表空间,MySQL实例在初始化时会自动创建两个默认的undo表空间,初始化大小16M,用于存储undo log日志
-
Temporary Tablespaces:InnoDB使用会话临时表空间和全局临时表空间,存储用户创建的临时表等数据
-
Doublewrite Buffer Files:双写缓冲区,InnoDB引擎将数据页从Buffer Pool刷新到磁盘前,先将数据页写入双写缓冲区文件中,便于系统异常时恢复数据
-
Redo Log:重做日志,用来实现事务的持久性。该日志文件由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log),前者是在内存中,后者在磁盘中,当事务提交后会把所有修改信息存到该日志中,用于在刷新脏页到磁盘时,发生错误,进行数据恢复使用。以循环方式写入重做日志
3.5.2.3 后台线程
作用:在合适的时机将缓冲池的数据刷新到磁盘中
-
Master Thread:核心后台线程,负责调度其它线程,还负责将缓冲池中的数据异步刷新到磁盘中,保持数据的一致性,还包含脏页的刷新、合并插入缓存、undo页的回收
-
IO Thread:在InnoDB存储引擎中大量使用了AIO来处理IO请求,这样可以极大的提高数据库的性能,而IO Thread主要负责这些IO请求的回调
线程类型 默认个数 职责 Read thread 4 负责读操作 Write thread 4 负责写操作 Log thread 1 负责将日志缓冲区刷新到磁盘 Insert buffer thread 1 负责将写缓冲区内容刷新到磁盘 -
Purge Thread:主要用于回收事务已经提交了的undo log,在事务提交后,undo log 可能不用了,就需要被回收
-
Page Cleaner Thread:协助Master Thread刷新脏页到磁盘的线程,减轻Master Thread的压力,减少阻塞
3.5.3 事务原理
3.5.3.1 事务回顾
- 事务:事务一组操作的集合,他是一个不可分割的工作单位,事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时失败。
- 事务的四大特性:
- 原子性(Atomicity):事务是不可分割的最小操作单元,要么全部成功,要么全部失败
- 一致性(Consistency):事务完成时,必须使所有的数据都保持一致状态
- 隔离性(Isolation):数据库提供隔离机制,保证事务在不受外部并发操作影响的独立环境下运行
- 持久性(Durability):事务一旦回滚或提交,他对数据库的数据改变是永久的
- 事务的 原子性、一致性、持久性 是由 redo log 和 undo log 保证的;隔离性 是由数据库锁和MVCC保证的
3.5.3.2 redo log
重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。
该日志文件有两部分组成:重做日志缓冲区(redo log buffer)以及重做日志文件(redo log file),前者是在内存中,后者是在磁盘上,当事务提交后会把所有修改信息都存储到该日志文件,用于在刷新脏页到磁盘发生错误时,进行数据的恢复。
3.5.3.3 undo log
回滚日志,用于记录数据被修改前的信息,作用包含两个:提供回滚 和 MVCC(多版本并发控制)
undo log和redo log 记录物理日志不一样,他是逻辑日志,可以认为当delete一条记录时,undo log中会记录一条对应的insert记录,反之亦然,当update一条记录时,他就会记录一条对应相反的update记录,当执行rollback时,就可以从undo log中的逻辑记录读取到相应的内容,进行回滚
undo log销毁:undo log在事务执行时产生,事务提交时,并不会立即删除,因为这些日志还有可能用于MVCC
undolog存储:undo log采用段的方式进行管理和记录,存放在前面的在前面介绍的rollback segment 回滚段中,内部包含1024个undo log segment
3.5.4 MVCC
3.5.4.1 基本概念
- 当前读:读取的记录是最新版本,读取时还要保证其它并发事务不能修改当前记录,会对读取的记录进行加锁。对于日常的操作,如:select…lock in share mode(共享锁),select…for update、update、insert、delete(排他锁)都是一种当前读、
- 快照读:简单的select(不加锁)就是快照读,他读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读
- Read Committed:每次select,都生成一个快照读
- Repeatable Read:开启事务第一个select语句才是快照读的地方
- Serializable:快照读会退化为当前读
- MVCC:全称 Multi-Version Concurrency Controller,多版本并发控制。指的是维护一个数据的多个版本,使得读写操作没有冲突,快照读为MySQL实现MVCC提供了一个非阻塞读功能,MVCC的具体实现,还需要依赖于数据库记录的三个隐式字段、undo log、readView
3.5.4.2 实现原理
-
表记录中的隐藏字段
表中的每行数据都有三个隐藏字段
隐藏字段 含义 DB_TRX_ID 最近修改事务ID,记录插入这条记录或最后一次修改该记录的事务ID DB_ROLL_PTR 回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本 DB_ROW_ID 隐藏主键,如果表中没有主键,将生成该隐藏主键 -
undo log
回滚日志,在insert、update、delete的时候产生的便于数据回滚的日志;当insert的时候,产生的undo log日志只在回滚时需要,在事务提交后,可立即被删除;当update、delete的时候,产生的undo log日志不仅在回滚时需要,在快照读时也需要,不会立即被删除
-
undo log版本链
不同事务或相同事务对同一条记录进行修改,会导致该记录的undo log生成一条记录版本链表,链表的头部是最新的旧记录,链表的尾部是最早的旧记录
-
ReadView
ReadView(视图读)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)ID
字段 含义 m_ids 当前活跃的事务ID集合 min_trx_id 最小活跃事务ID max_trx_id 预分配事务ID,当前最大事务ID+1(事务ID是自增的) creator_trx_id ReadView创建者的事务ID
不同的隔离级别,生成的ReadView的时机不同:
- Read Committed:在事务中每一次执行快照读时生成ReadView
- Repeatable Read:仅在事务中第一次执行快照读时生成ReadView,后续复用该ReadView