innodb内存结构
内存结构主要包括BP CB 自适应哈希索引 LB四大组件
bufferpool
缓冲池,简称BP。BP以page页为单位,默认大小16K,BP的底层采用链表数据结构管理page。在innodb访问表记录和索引时会在page页中缓存,以后使用可以减少磁盘IO操作,提升效率。
page管理机制
page根据状态可以分成三种类型:
- free page:空闲page,未使用
- clean page:被使用page,数据没有被修改过
- dirty page:脏页,被使用page,数据被修改过,页中数据和磁盘数据产生了不一致
针对上述三种类型,innodb通过三种链表结构来维护和管理
- free list:表示空闲缓冲区,管理free page
- flush list :表示需要刷新到磁盘的缓冲区,管理dirty page,内部page按修改时间排序。脏页即存放你flush链表,也在LRU链表中,但是两种互不影响,LRU链表负责管理page的可用性和释放,而flush链表负责管理脏页的刷盘操作。
- lru list:表示正在使用的缓冲区,管理clean page和dirty page,缓冲区以midpoint为基点,前面链表称为mew列表区,存放经常访问的数据,占63%;后面的链表成为old列表区,存放使用较少数据,占37%。
改进型LRU算法维护
普通:末尾淘汰法,新数据从链表头部加入,释放空间时从末尾淘汰
改进:链表分为new和old两个部分,加入元素时并不是从表头插入,而是从中间midpoint位置插入,如果数据很快被访问,那么page就会向new列表头部移动,如果数据没有被访问,会逐步向old尾部移动,等待淘汰。
每当有新的page数据读取到BP时,innodb引擎会判断是否有空白页,是否足够,如果有就将freepage从freelist列表删除,放入到lru列表中。没有空闲页,就会根据LRU算法淘汰LRU链表默认的页,将内存空间释放分配给新的页。
冷数据区数据什么时候转到热数据区?
- 如果数据页在LRU链表中存在时间超过1S,就将其移动到整个LRU链表的头部;
- 如果该数据页在LRU链表中存在的时间短于1S,则位置不变;
- 同时满足在old区停留超过1s和被访问才会插到热区头部。
因为假设加载了一个数据页到缓存,然后过了1S之后你还访问了这个缓存页,说明你后续很可能会经常要访问它,因此只有1S后你访问了这个缓存页,他也会给你把缓存页放到热数据区域的链表头部去。
BP配置参数
show variables like '%innodb_page_size%';查看page页大小
show variables like '%innodb_old%';查看lru list中old列表参数
show variables like '%innodb_buffer%';查看bufferpool参数
建议:将innodb_buffer_pool_size设置为总内存的60-80%,innodb_buffer_pool_instances可以设置为多个,这样可以避免缓存争夺。
change buffer
写缓冲区,简称CB。在进行DML操作时,如果BP没有其对应的page数据,并不会立刻将磁盘页加载到缓冲池,而是在CB记录缓冲变更,等未来数据被读取时,再将数据合并恢复到BP中。
占用BP空间,默认占用25%,最大允许占用50%。
参数innodn_change_buffer_max_size:
当更新一条记录时,该记录在BP存在,直接在BP中修改,一次内存操作。如果该记录在BP中不存在,会直接在CB中进行一次内存操作,不用再去磁盘查询数据,避免了一个磁盘IO。当下查询记录时,会先进行磁盘读取,然后再从CB中读取信息合并,最终载入BP中。
写缓冲区仅适用于非唯一性普通索引页,因为索引设置唯一性,在进行修改时,innodb必须要做唯一性校验,因此必须查询磁盘,做一次IO操作。会直接将记录查询到BP中,然后再缓冲区修改,不会再CP操作。
Adaptive hash index
自适应哈希索引,用于优化对BP数据的查询。innodb存储引擎会监控对表索引的查找,如果观察到建立哈希索引可以带来速度的提升,则建立哈希索引,所以称之为自适应。innodb存储引擎会自动根据访问的频率和模式来为某些页面建立哈希索引。
自适应哈希索引是如何提高查询效率的?
AHI作用的目标是频繁查询的数据页和索引页,由于数据页是聚簇索引的一部分,因此AHI是建立在索引之上的索引。
对于二级索引,如果命中AHI,则直接从AHI中获取二级索引页的记录指针,再根据主键沿着聚簇索引查询。
对于聚簇索引,如果聚簇查询命中AHI,则直接返回目标数据页的记录指针,即可通过此指针直接定位数据页。
不管是聚簇索引还是普通索引,记录定位的寻路路径都是比较长的。mysql的运行过程中,如果发现有很多寻路很长的B+树层数多,回表次数多的sql,或有很多sql命中相同的页,innodb就会在内存中开辟一块区域建立自适应哈希索引,加速查询。
hash数据结构都是包括k-v键值的。
在AHI中,key就是经常访问的索引键值,value就是该索引键值匹配的完整记录所在page位置。
通过AHI访问记录的过程和聚簇索引对比图:
log buffer
日志缓冲区,用来保存要写入磁盘上log文件(redo/undo)的数据,日志缓冲区的内容定期刷线到磁盘log文件中。日志缓冲区满时会自动将其刷新到磁盘,当遇到BLOB或多行更新的大事务操作时,增加日志可以节省磁盘IO。(16M)
LB主要记录innodb引擎日志,再DML操作时会产生redo和undo日志。
innodb_flush_log_at_trx_commit参数控制日志刷新行为,默默为1
0:每隔1秒写日志文件和刷盘操作(写日志文件logbuffer-->OS cache -->磁盘文件),最多丢失1秒数据。
1:事务提交,立刻写日志文件和磁盘,数据不丢失,但会频繁IO操作
2:事务提交,立刻写日志文件,每个1秒进行刷盘操作。