InnoDB(2.5) 关键特性:两次写、自适应哈希索引、异步IO与刷新邻接页


Insert Buffer带给InnoDB存储引擎的是性能上的提升,那么两次写(Double Write)带给InnoDB存储引擎的是数据页的可靠性。

doubleWrite:两次写

部分写失效(partial page write)

部分写失效是指当刷新页时,只有部分成功刷新进页中,其余部分都写入失败(比如宕机引起)。

这种情况可以根据重做日志去进行恢复,但重做日志恢复是对物理页进行操作,如果操作的物理页发生了损坏,那么重做日志是没有任何作用和意义的。

那么解决这个问题的办法就是,在应用重做日志之前,需要一个页的副本(这个副本是没坏的,用来放置物理页损坏),当写入失效发生的时候,会先通过页的副本进行该页,然后重做日志再对物理页进行重做,这个过程就是doublewrite。

DoubleWrite执行

DoubleWrite的组成主要由下面两部分所组成(DoubleWrite Buffer与物理磁盘上的共享表空间)

doubleWrite Buffer大小为2MB,共享表空间的大小也是2MB,在一开始对缓冲池的脏页进行刷新时,并不是直接写入磁盘,而是先通过memcpy函数将脏页复制到DoubleWrite Buffer中,DoubleWriteBuffer再分两次,每次1MB按顺序将脏页写入到物理磁盘上的共享表空间,然后再调用fsync函数,将脏页同步到磁盘上,避免了上面提到的部分写的问题

如果在页写入磁盘的过程中发生了崩溃,会先在共享表空间上找到页的副本,然后将其复制替换到对应的表空间上,然后重做日志对其进行重做。

插入流程图如下
在这里插入图片描述
注意

脏页被写入doubleWrite Buffer中,只需按顺序插入就好,不需要维护,所以这一步是很快的,但后面的一步写入进共享表空间时,此时的插入就变成是离散的,因为要一一对应表空间,会发生不同页的情况,所以写入共享表空间会比较慢。

自适应哈希索引

哈希是一种非常快的查找方法,在一般情况下这种查找的时间复杂度为 O ( 1 ) O(1) O(1)(前提是没有发生哈希冲突,底层数组刚好每个位置只对应一个元素),但B+树的查找,会根据树的高度而变化,一般B+树的高度为3~4层,也就是说,要执行3 ~ 4次操作,才能找到元素。

InnoDB会监控表上的各索引页的查询,如果发现建立哈希索引可以带来速度提升,就会自动创立哈希索引,自动创立的哈希索引成为自适应哈希索引。而且是根据访问的频率和模式来自动地位某些热点页建立哈希索引(对表的部分热点数据进行建立哈希索引,即部分页),并不是对整张表的架构建立哈希索引(给一个列设为哈希索引,即表的机构拥有哈希索引)。

哈希索引的要求

使用哈希索引有几个要求,满足全部三个

  • 对这个页的连续访问模式必须是一样的, 即WHERE后面的限制要等价
  • 以同种访问模式下访问了100次
  • 页通过该模式访问了N次,其中N等于页中记录数的十六分之一。

比如,一个表中有a,b联合索引,那么访问模式可以为下面的情况

WHERE a = xxx;
WHERE a = xxx AND b = yyy
WHERE b = xxx

访问模式指的是WHERE后面的查询的条件一样,若交替执行上述的访问模式,是开启不了自定义哈希索引的。而且必须要在这个模式下访问100次,而且访问该页的时候使用同种访问模式的次数为记录数的十六分之一

可以通过参数innodb_adaptive_hash_index来开启或禁用产生自适应哈希索引的功能(默认是开启)

SHOW VARIABLES LIKE "innodb_adaptive_hash_index";

异步IO

采用异步IO(Asynchronous IO,AIO)的方式可以提高磁盘的操作性能

与AIO相反的是Sync IO,Sync IO是同步的,必须要IO操作执行完了、结束了,才能继续接下来的操作。

异步IO的优点

当用户发出一条索引扫描的查询,会扫描多个页,那么就会对磁盘进行多次的IO操作,如果用Sync IO的话,则是完成一次IO操作才可以进行下一次IO操作,这是没有必要的,如果使用AIO的话,则是发出一个IO请求后,可以再发出另外的IO请求,将所有的IO请求发送后,等待所有的IO请求执行成功即可。

AIO的另一个优势就是,当IO请求是连续的时候,可以进行将其合并为一个IO请求,比如这里有三个IO请求,用户需要访问3次页(space,offset),分别为(8,6)、(8,7)、(8,8),每个都分别是16KB。

那么如果使用Sync IO的话,就要执行3次请求,但AIO会先去判断,判断发现这请求的3个页是连续的,则会合并成一个请求,从(8,6)开始,读取48KB的数据。

总结

  • 异步IO可以一次性发送所有请求,不必等待前面请求完成再发送
  • 异步IO可以合并多个请求变为一个请求,前提是请求的数据是连续的

刷新邻接页

当InnoDB刷新缓冲池的一个脏页时,会检测该页所在区(64个字节)的所有页,如果发现有脏页,就会一起刷新,这样做的好处其实就是利用了异步IO的优点,将多个请求变为一个请求(同个区的页很可能是连续的)。

但会出现下面的问题

  • 可能将不怎么脏的页进行刷新,然后这个页很快就再次变脏,增加了IO请求
  • 固态硬盘有较高的IOPS,是否需要这个特性?(IOPS越高,IO请求越快完成)

针对这个问题,可以主动去设置刷新邻接页功能是否执行,通过参数innodb_flush_neighbors来控制

SHOW VARIABLES LIKE "innodb_flush_neighbors";

为0的话就是不开启(默认也是没有开启,因为现在都是用固态硬盘,传统硬盘很少了)
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值