索引的出现其实就是为了提高数据查询的效率,就像书的目录一样
索引的常见模型
常见的也比较简单的可以用于提高读写效率的数据结构:哈希表、有序数组、搜索树
哈希表:是一种以键-值(key-value)存储数据的结构,我们只要输入待查找的值即key,就可以找到其对应的值即value。哈希的思路很简单,把值放在数组里,用一个哈希函数把key换算成一个确定的位置,然后把value放在数组的这个位置。 不可避免的,多个key值经过哈希函数的换算,会出现同一个值得情况。处理这种情况的一种方法是,拉出一个链表。**哈希表这种结构适用于只有等值查询的场景。**比如Memcached及其他一些NoSQL引擎,而有序数组在等值查询和范围查询场景中的性能就都非常优秀。
有序数组:有序数组索引只适用于静态存储引擎,比如要保存的是18年某个城市的所有人口信息,这类不会再修改的数据
二叉树:特点:每个节点的左儿子小于父节点,父节点又小于右儿子。二叉树是搜索效率最高的,但是实际上大多数的数据库存储却并不使用二叉树。其原因是,索引不止存在内存中,还要写到磁盘上。为了让一个查询尽量少地读磁盘,就必须让查询过程访问尽量少的数据块,那么,我们就不应该是用二叉树,而是要使用“N叉”树。“N叉”树中的N取决于数据快的大小。
数据库底层存储的核心就是基于这些数据模型的。每碰到一个新数据库,我们需要先关注它的数据模型,才能从理论上分析出这个数据库的适用场景
在mysql中,索引都是在存储引擎层实现的,所以并没有统一的索引标准,即不同存储引擎的索引的工作方式并不一样。而即使多个存储引擎支持同一种类型的索引,其底层的实现也可能不同。InnoDB存储引擎在mysql数据库中使用最为广泛。
InnoDB的索引模型
在InnoDB中,表都是根据主键顺序以索引的形式存放的,这种存储方式的表称为索引组织表。又因为前面我们提到的,InnoDB使用了B+树索引模型,所以数据都是存储在B+树中的。
B+树能够很好的配合磁盘的读写特性,减少单次查询的磁盘访问次数。
每一个索引在InnoDB里面对应一颗B+树。
假设,我们有一个主键列为ID的表,表中有字段k,并且在k上有索引。这个表的建表语句是:
mysql> create table T(
id int primary key,
k int not null,
name varchar(16),
index (k))engine=InnoDB;
扩展重建索引k:对于InnoDB表T,如果要重建索引k,两个sql语句可以这么写:
alter table T drop index k;
alter table T add index(k);
如果你要重建主键索引,可以这么写:
alter table T drop primary key;
alter table T add primary key(id);
为什么要重建索引?
索引可能因为删除,或者页分裂等原因,导致数据页有空洞,重建索引的过程会创建一个新的索引,把数据按顺序插入,这样页面的利用率最高,也即是索引更紧凑,更省空间。
重建索引k的做法是合理的,可以达到省空间的目的,但是重建主键的过程不合理。不论是删除主键还是创建主键,都会将整个表重建。所以连着执行这两个语句的话,第一个语句就白做了。这两个语句,可以用alter table T engine=InnoDB。
表中R1~R5的(ID,k)的值分别为(100,1),(200,2),(300,3),(500,5),(600,6),两棵树的示例示意图如下:
从图中可以看出,根据叶子节点的内容,索引类型分为主键索引和非主键索引
主键索引的叶子节点存的是整行数据,在InnoDB里,主键索引也称为聚簇索引。
非主键索引的叶子节点存的是主键的值,在InnoDB里,非主键索引也称为二级索引。
基于主键索引和普通索引的查询有什么区别?
如果语句是主键查询方式,则只需要搜索ID这颗B+树
如果语句是普通索引查询方式,则需要先搜索k索引树,得到ID的值,再到ID索引树搜索一次。这个过程称为回表
即基于非主键索引的查询需要多扫描一棵索引树。因此,我们应该尽量使用主键查询。
索引维护
B+树为了维护索引有序性,在插入新值的时候需要做必要的维护。以上面的这个图为例,如果插入新的行ID值为700,则只需要在R5的记录后面插如一个新纪录。如果新插入的ID的值为400,就相对麻烦了,需要逻辑上挪动后面的数据,空出位置。
更糟的情况是,如果R5所在的数据页已经满了,根据B+树的算法,这时候需要申请一个新的数据页,然后挪动部分数据过去。这个过程称为页分裂。在这种情况下,性能自然会受影响。页分裂操作还影响数据页的利用。原本放在一个页的数据,现在分到两个页中,整体空间利用率降低大约50%。
索引维护——数据主键的使用
数据主键是指自增列上定义的主键,在建表语句中一般是这么定义的:NOT NULL PRIMARY KEY AUTO_INCREMENT
使用了自增主键之后,插入新记录的时候可以不指定ID的值,系统会获取当前ID最大值加1作为下一条记录的ID值。
也就是说,自增主键的插入数据模式,正符合了我们前面提到的递增插入的场景。每次插入一条新记录都是追加操作,都不涉及到挪动其他记录,也不会触发叶子节点的分裂。
而有业务逻辑的字段做主键,则往往不容易保证有序插入,这样写数据成本相对较高。
除了考虑性能外,我们还可以从存储空间的角度来看。
假如你的表里面确实有个一唯一字段,比如字符串类型的身份证号,那应该用身份证号做主键还是用自增字段做主键呢?
由于每个非主键索引的叶子节点上都是主键的值,如果用身份证号做主键,那么每个二级索引的叶子节点占用约20个字节,而如果用整型做主键,则只要4个字节,如果是长整形(bigint)则是8个字节
**主键长度越小,普通索引的叶子节点就越小,普通索引占用的空间也就越小。**所以,从性能和存储空间方面考量,自增主键往往是更合理的选择。
适合用业务字段直接做主键的场景:
1、只有一个索引
2、该索引必须是唯一索引
这就是典型的KV场景,由于没有其他索引,所以也就不用考虑其他索引的叶子节点大小的问题。这时候我们就要优先考虑上一段提到的“尽量使用主键查询”的原则,直接将这个索引设置为主键,可以避免每次查询需要搜索两棵树。