-
Change Buffer
-
Insert Buffer的内部实现
-
- metadata字段
-
Insert Buffer Bitmap
-
Merge Insert Buffer
==========================================================================
InnoDB的关键特性包括下面几个
-
插入缓冲(Insert Buffer)
-
两次写(Double write)
-
自适应哈希索引(Adaptive Hash Index)
-
异步IO(Async IO)
-
刷新邻接页(Flush Neighbor Page)
这些特性都给InnoDB存储引擎带来了更好的性能以及更高的可靠性
插入缓冲并不是缓冲池里的一部分,他的结构与数据页一样,也是物理页的组成部分之一。
聚集索引
在InnoDB存储引擎中,聚集索引其实就是主键(关键字为primary key,唯一自增),一般是自动增长的列,插入时,对该列插入NULL值的话,会自动增长,但也有例外情况,比如指定值进行插入,或者主键是UUID这样的列,都可能会造成非连续的主键插入。
一般情况下,插入时,页中的记录会按照自增的主键去进行按顺序安放,这样做的好处当插入时,不需要离散地去访问另一个页中的记录(页其实是索引中的一个结点),因为是按顺序的,很可能插入的位置就是最后一个页的末尾。
但一个表中不仅仅有主键索引,还有辅助索引(关键字为key,不唯一且不自增),对于辅助索引会另外生成一棵非聚集索引B+树,当插入辅助索引列的值不是按顺序时,就需要离散地去访问非聚集索引页了(非聚集索引B+树的结点),由于随机读取的存在导致插入操作性能下降,其实总的来说,就是维护非聚集索引的代价影响了插入操作性能。
Insert Buffer
InnoDB设置了Insert Buffer就是针对非聚集索引的插入或者更新操作,有了Insert buffer之后,不再是每一次的插入都直接插入到辅助索引页中,而是先判断缓冲池中是否有该辅助索引页的缓冲,若有的话,则直接插入到缓冲池中的辅助索引页中(待后面进行刷新脏页进磁盘),如果没有,则先放入到Insert buffer中,然后再以一定的频率和或者发生指定情况进行Insert Buffer和辅助索引页的合并操作,通常是Insert buffer中已经含有多个插入操作,直接将多个合并到一个操作中(因为这里是同一个辅助索引页,其实就是一次性实现多次插入),这样就大大提高了辅助索引的插入效率。
对Insert Buffer的使用要包括下面两个条件
-
索引是辅助索引
-
索引不是唯一的(不是Unique,可以重复)
当然,这种方式提高了插入效率,但同时降低了恢复效率,因为使用Insert buffer来缓冲要插入的数据,而不是第一时间插入,假如数据还在Insert buffer中,此时发生了宕机,那么后续恢复数据时就要花费更多的时间了(因为数据没有第一时间持久化进磁盘,未进磁盘的数据都要进行恢复)
同时,索引不可以是唯一的,因为Insert buffer刷新进索引页时,并不会去判断插入的新数据是否是唯一,无法保证唯一性。
//查看INNODB引擎状态
SHOW ENGINE INNODB STATUS;
Ibuf指的是Insert buffer缓冲池的情况
-
size:代表已经合并记录页的数量
-
free list:代表空闲列表的长度
-
seg size:Insert Buffer当前池的大小
-
merges:代表合并的次数
merged operations指的是执行了多少次合并操作,至于下面的insert、delete mark、delete会在下面Change Buffer讨论。
Insert Buffer除了数据恢复慢的问题,还有另外一个问题就是他会占用缓冲池内存,尤其在写操作密集的情况下,会占用过多的缓冲池内存,会给其他操作带来一系列的影响。
Change Buffer
Change Buffer可以看作是Insert Buffer的升级,从这个版本开始(InnoDB 1.0.X版本引入了Change Buffer),InnoDB存储引擎可以对DML操作都进行缓冲(即可以对Insert、Delete、Update进行缓冲),分别为下面的缓冲池
-
Insert Buffer
-
Delete Buffer
-
Purge Buffer
这三个Buffer和Insert Buffer一样,适用的对象仍然是不唯一的辅助索引(即满足上面提到的两个条件)
对一条记录进行UPDATE操作可能分为两个或三个过程
-
将记录标记为已删除
-
真正将记录删除
-
将新的记录进行插入
Delete Buffer对应的就是将记录标记为已删除,接下来Purge Buffer将记录真正删除(Insert Buffer将新的记录插入)。
可以通过innodb_change_buffer_max_size来查看Change Buffer最大使用内存的数量
SHOW VARIABLES LIKE “innodb_change_buffer_max_size”;
默认值是25,表示最多可以占用缓冲池四分之一的空间。
接下来,我们回到上面提到的insert、delete mark、delete
-
insert表示Insert Buffer执行合并的次数
-
delete mark表示delete buffer执行合并的次数
-
delete表示purege buffer执行合并的次数
-
下面的discarded表示,当Change Buffer发生merge操作时,表已经被删除,无序进行合并了
Insert Buffer的内部实现
Insert Buffer本质其实也是一棵B+树,在MySQL4.1版本之前,每张表都有一棵独立的Insert Buffer B+树,之后的版本,全局中只有一棵Insert Buffer B+树,存放在共享表空间中,负责对所有表的辅助索引进行Insert Buffer。
Insert Buffer是一棵B+树,因此也是由叶结点和内部结点构成,非叶子结点存放的是查询的search key(键值,共占9个字节),其构造如下图所示
前面提到Insert buffer全局只有一棵,那么首先要解决的问题就是要锁定哪张表,space就是表示待插入的记录所在表的表空间id(每张表都有独一无二的id),占用了4个字节,marker是为了兼容老版本的Insert buffer的,占用了一个字节,offset表示页所在的偏移量,占用了4个字节
-
space:占用4字节,储存插入记录的表id
-
markder:占用1字节,兼容老版本需要
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Java)
最后
无论是哪家公司,都很重视基础,大厂更加重视技术的深度和广度,面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。
针对以上面试技术点,我在这里也做一些分享,希望能更好的帮助到大家。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
。
[外链图片转存中…(img-DzPIR1An-1713859567809)]
[外链图片转存中…(img-r4oh5OZx-1713859567809)]
[外链图片转存中…(img-hDfZC713-1713859567809)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!