往期精彩:
在前面我们提到了 MySQL 中的索引,我们知道了什么是索引!
今天我们就来了解以下 MySQL 中的索引,在底层是如何存储的?采用的何种数据结构?
MySQL 索引主要有两种结构:B+Tree 索引和 Hash 索引,但是在没有指明的情况下,默认都是使用 B+Tree 索引。
B+Tree 索引是 B+Tree 在数据库中的一种实现,是最常见也是数据库中使用最为频繁的一种索引。
B+Tree 中的 B 代表平衡(balance),而不是二叉(binary),因为 B+Tree 是从最早的平衡二叉树演化而来的。
在讲 B+Tree 之前必须先了解二叉查找树、平衡二叉树(AVLTree)和平衡多路查找树(B-Tree),B+Tree 即由这些树逐步优化而来。
一、二叉查找树
二叉树具有以下性质:左子树的键值小于根的键值,右子树的键值大于根的键值。
如下图所示就是一棵二叉查找树
对该二叉树的节点进行查找发现深度为 1 的节点的查找次数为 1,深度为 2 的查找次数为 2,深度为 n 的节点的查找次数为 n,因此其平均查找次数为 (1+2+2+3+3+3) / 6 = 2.3 次
二叉查找树可以任意地构造,同样是 2,3,5,6,7,8 这六个数字,也可以按照下图的方式来构造:
但是这棵二叉树的查询效率就低了。
如:查数据节点 8,至少要查询 5 次,而上图只需要查找 3 次,因此若想二叉树的查询效率尽可能高,需要这棵二叉树是平衡的,从而引出新的定义——平衡二叉树,或称 AVL 树。
二、平衡二叉树(AVL 树)
平衡二叉树(AVL树)是一棵空树或它的左右两个子树的高度差的绝对值不超过 1,并且左右两个子树都是一棵平衡二叉树。
也就是说在符合二叉查找树的条件下,它还满足任何节点的两个子树的高度最大差为1。
下面的两张图片,
- 左边是 AVL 树,它的任何节点的两个子树的高度差<=1
- 右边的不是AVL树,其根节点的左子树高度为 3,而右子树高度为 1
这四种失去平衡的姿态都有各自的定义:
LL:LeftLeft,也称“左左”。插入或删除一个节点后,根节点的左孩子(Left Child)的左孩子(Left Child)还有非空节点,导致根节点的左子树高度比右子树高度高2,AVL树失去平衡。
RR:RightRight,也称“右右”。插入或删除一个节点后,根节点的右孩子(Right Child)的右孩子(Right Child)还有非空节点,导致根节点的右子树高度比左子树高度高2,AVL树失去平衡。
LR:LeftRight,也称“左右”。插入或删除一个节点后,根节点的左孩子(Left Child)的右孩子(Right Child)还有非空节点,导致根节点的左子树高度比右子树高度高2,AVL树失去平衡。
RL:RightLeft,也称“右左”。插入或删除一个节点后,根节点的右孩子(Right Child)的左孩子(Left Child)还有非空节点,导致根节点的右子树高度比左子树高度高2,AVL树失去平衡。
AVL 树失去平衡之后,可以通过旋转使其恢复平衡。
案例:在下面的平衡二叉树上,插入关键字 83,请画出每次插入操作后得到的平衡二叉树。
当插入节点 83 后,首先可以确定不平衡的子树部分为:
在插入某个节点时,若造成了某个节点不再平衡,则要做出相应的调整:有如下 4 种调整
- LL===>右单旋
- RR===>左单旋
- LR===>先左旋,后右旋
- RL===>先右旋,后左旋
Q:如何确定 LL/RR/LR/RL?
先找最小不平衡子树,从最小不平衡子树的根向插入结点数两步,即可确定
根据上图左边的,从 67 开始向 83(插入节点)的方向,数 2 步,则就是先R再L,即可得到要先右旋后左旋
Q:如何旋转呢?
- 若是LR或者RL类型的调整,则针对的是最先不平衡子树的根的孩子的孩子进行旋转,则两次针对同一节点
- 若是RR或者LL类型的调整,则针对的是最先不平衡子树的根的孩子进行旋转
根据上图那么就要对 77 进行右旋,再对 77 节点进行左旋
从上面的图可以看出,不管是采用二叉树还是平衡二叉树,首先都是有序的,这是它的一个优点,但是每个父节点都只有 2 个分支,每一个分支节点只能存储一个结果值,如果想存储更多的数据,那么意味着树要变深,这是非常影响 IO 的。
那么可不可以采用 hashmap 来作为 mysql 数据库的索引呢?
肯定也是不行的,它的缺点非常多,首先 hashmap 是无序的,如果是一个等值查找没什么问题,如果是一个范围查找,由于它的无序,但是查找速度非常慢。
另外哈希表每次进行获取数据的时候需要进行位置运算,知道在哪一个位置下,然后再进行挨个对比,这是不可取的。
红黑树其实和平衡二叉树差不多,都会导致树要变深,影响 IO 效率
三、平衡多路查找树(B-Tree)
B-Tree 是为磁盘等外存储设备设计的一种平衡查找树(读作B树,不是B-树,没有B-树),因此在讲 B-Tree 之前了解下磁盘的相关知识。
磁盘预读:系统从磁盘读取数据到内存时是以磁盘块(block)为基本单位的,位于同一个磁盘块中的数据会被一次性读取出来,而不是需要什么取什么。
InnoDB 存储引擎中有页(Page)的概念,页是其磁盘管理的最小单位。
InnoDB 存储引擎中默认每个页的大小为 16 KB(16384/1024),可通过参数 innodb_page_size 将页的大小设置为 4K、8K、16K,在 MySQL 中可通过如下命令查看页的大小:
mysql> show variables like 'innodb_page_size';
而系统一个磁盘块的存储空间往往没有这么大,因此 InnoDB 每次申请磁盘空间时都会是若干地址连续磁盘块来达到页的大小16KB。
InnoDB 在把磁盘数据读入到内存时会以页为基本单位,一般是页的整数倍,在查询数据时如果一个页中的每条数据都能有助于定位数据记录的位置,这将会减少磁盘 I/O 次数,提高查询效率。
B-Tree 结构的数据可以让系统高效的找到数据所在的磁盘块。
为了描述 B-Tree,首先定义一条记录为一个二元组 [key, data] ,key 为记录的键值,对应表中的主键值,data 为一行记录中除主键外的数据。对于不同的记录,key 值互不相同。
每个节点占用一个盘块的磁盘空间,一个节点上有两个升序排序的关键字和三个指向子树根节点的指针,指针存储的是子节点所在磁盘块的地址。
两个关键词划分成的三个范围域对应三个指针指向的子树的数据的范围域。
以根节点为例,关键字为17和35,P1指针指向的子树的数据范围为小于17,P2指针指向的子树的数据范围为17~35,P3指针指向的子树的数据范围为大于35。
模拟查找关键字29的过程:
1、根据根节点找到磁盘块1,读入内存。【磁盘I/O操作第1次】
2、比较关键字29在区间(17,35),找到磁盘块1的指针P2。
3、根据P2指针找到磁盘块3,读入内存。【磁盘I/O操作第2次】
4、比较关键字29在区间(26,30),找到磁盘块3的指针P2。
5、根据P2指针找到磁盘块8,读入内存。【磁盘I/O操作第3次】
6、在磁盘块8中的关键字列表中找到关键字29。
分析上面过程,发现需要 3 次磁盘 I/O 操作,和3次内存查找操作。
由于内存中的关键字是一个有序表结构,可以利用二分法查找提高效率。
而 3 次磁盘 I/O 操作是影响整个 B-Tree 查找效率的决定因素。
B-Tree 相对于 AVLTree 缩减了节点个数,使每次磁盘 I/O 取到内存的数据都发挥了作用,从而提高了查询效率
假如说:每个磁盘块的大小是1k(一个指针+一个数据节点是1k),那么一页就是有16个磁盘块,如果每次加载一页,也有16个指针,而且每个指针指向一个磁盘块(第二层),那么对于一个三层的 B-Tree 来说,能存储的节点数就是:16X16X16 = 4096
四、B+Tree
B+Tree 是在 B-Tree 基础上的一种优化,InnoDB 存储引擎就是用 B+Tree 实现其索引结构。
从上一节中的 B-Tree 结构图中可以看到每个节点中不仅包含数据的 key 值,还有 data 值。
而每一个页的存储空间是有限的,如果 data 数据较大时将会导致每个节点(即一个页)能存储的key 的数量很小,当存储的数据量很大时同样会导致 B-Tree 的深度较大,增大查询时的磁盘 I/O 次数,进而影响查询效率。
在 B+Tree 中,所有数据记录节点都是按照键值大小顺序存放在同一层的叶子节点上,而非叶子节点上只存储 key 值信息,这样可以大大加大每个节点存储的 key 值数量,降低 B+Tree 的高度
B+树的特性:
所有的叶子结点中包含了全部关键字的信息,非叶子节点只存储键值信息,及指向含有这些关键字记录的指针,且叶子结点本身依关键字的大小自小而大的顺序链接,所有的非终端结点可以看成是索引部分,结点中仅含有其子树根结点中最大(或最小)关键字 (而B树的非终节点也包含需要查找的有效信息)
所有叶子节点之间都有一个链指针。
数据记录都存放在叶子节点中。
由于 B+Tree 的非叶子节点只存储键值信息,假设每个磁盘块能存储 3 个键值及指针信息,则变成B+Tree 后其结构如下图所示:
可能上面例子中只有22条数据记录,看不出B+Tree的优点,下面做一个推算:
InnoDB 存储引擎中页的大小为 16 KB,一般表的主键类型为 INT(占用4个字节)或 BIGINT(占用8个字节),指针类型也一般为 4 或 8 个字节,也就是说一个页(B+Tree 中的一个节点)中大概存储 16 KB/(8B+8B)= 1K 个键值(因为是估值,为方便计算,这里的 K 取值为1000)
也就是说一个深度为 3 的 B+Tree 索引可以维护 1000 * 1000 * 50 (最后一层每个磁盘块存多少数据节点,假设是50个) = 5千万条记录。
深度一般是三到四层。
实际情况中每个节点可能不能填充满,因此在数据库中,B+Tree 的高度一般都在 2-4 层。
MySQL 的 InnoDB 存储引擎在设计时是将根节点常驻内存的,也就是说查找某一键值的行记录时最多只需要 1~3 次磁盘 I/O 操作。
当然 B+Tree 的索引结构也是有缺点的,有页分裂和页合并的操作。
例如:在 13 和 15 之间插入14,这就需要页分裂。
数据库中的 B+Tree 索引可以分为聚集索引(clustered index)和辅助索引(secondary index)
上面的 B+Tree 示例图在数据库中的实现即为聚集索引,聚集索引的 B+Tree 中的叶子节点存放的是整张表的行记录数据。
辅助索引与聚集索引的区别在于辅助索引的叶子节点并不包含行记录的全部数据,而是存储相应行数据的聚集索引键,即主键。
当通过辅助索引来查询数据时,InnoDB 存储引擎会遍历辅助索引找到主键,然后再通过主键在聚集索引中找到完整的行记录数据。
参考文章:《BTree和B+Tree详解》
一 叶 知 秋,奥 妙 玄 心