索引的本质:MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构,提取句子主干,就可以得到索引的本质:索引是数据结构。
1、二叉搜索树
为什么不适合用作数据库索引?
a、当数据量大的时候,树的高度会比较高,数据量大的时候,查询会比较慢;
b、每个节点只存储一个记录,可能导致一次查询有很多次磁盘IO;
2、B-Tree
B树属于多叉树(平衡多路查找树),IO次数就是树的高度,“矮胖”就是b树的特征之一
a、不再是二叉搜索,而是m叉搜索;
b、叶子节点,非叶子节点,都存储数据;
c、中序遍历,可以获得所有节点;
B树被作为实现索引的数据结构被创造出来,是因为它能够完美的利用“局部性原理”。
什么是局部性原理?
1、内存读写块,磁盘读写慢,而且慢很多;
2、磁盘预读:磁盘读写并不是按需读取,而是按页预读,一次会读一页的数据,每次加载更多的数据,如果未来要读取的数据就在这一页中,可以避免未来的磁盘IO,提高效率;通常,一页数据是4K。
3、局部性原理:软件设计要尽量遵循“数据读取集中”与“使用到一个数据,大概率会使用其附近的数据”,这样磁盘预读能充分提高磁盘IO;
B树为何适合做索引?
a、由于是m分叉的,高度能够大大降低;
b、每个节点可以存储j个记录,如果将节点大小设置为页大小,例如4K,能够充分的利用预读的特性,极大减少磁盘IO;
总结:从平衡二叉树、B树、B+树、B*树总体来看它们的贯彻的思想是相同的,都是采用二分法和数据平衡策略来提升查找数据的速度。
3、B+Tree
B+树,在B树的基础上做了一些改进:
a、非叶子节点不再存储数据,数据只存储在同一层的叶子节点上,B+树中根到每一个节点的路径长度一样,而B树不是这样;
b、叶子之间,增加了链表;
B+Tree更合适作为数据库或文件索引的优点:
1、很适合磁盘存储,能够充分利用局部性原理,磁盘预读;
2、很低的树高度,能够存储大量数据;
3、索引本身占用的内存很小;
4、能够很好的支持单点查询,范围查询,有序性查询;
最后,量化说下,为什么m叉的B+树比二叉搜索树的高度大大大大降低?
大概计算一下:
1、局部性原理,将一个节点的大小设为一页,一页4K,假设一个KEY有8字节,一个节点可以存储500个KEY,即j=500
2、m叉树,大概m/2<= j <=m,即可以差不多是1000叉树
3、那么:
一层树:1个节点,1*500个KEY,大小4K
二层树:1000个节点,1000*500=50W个KEY,大小1000*4K=4M
三层树:1000*1000个节点,1000*1000*500=5亿个KEY,大小1000*1000*4K=4G
可以看到,存储大量的数据(5亿),并不需要太高树的深度(高度3),索引也不是太占内存(4G)。
Ref: