目录
一、索引
索引:可以提高数据库的性能,只要执行正确的create index,查询速度就可能提高成百上千倍。但是查询速度的提高是以插入、更新、删除的速度为代价的,这些写操作,增加了增加了大量的IO。所以它的价值,在于提高一个海量数据的检索速度。
常见索引分为:
🖊主键索引(primary key)
🖊唯一索引(unique)
🖊普通索引(index)
🖊全文索引(fulltext) --解决中文索引问题。
1.1Mysql与磁盘交互基本单位
Mysql作为一款应用软件,可以想象成一种特殊的文件系统。它有着更高的IO场景,索引为了提高基本的IO效率,Mysql进行IO的基本单位是16KB(之后统一使用InnoDB存储引擎进行说明)。
磁盘这个硬件设备的基本单位是512字节(0.5KB),而Mysql InnoDB引擎使用16KB进行IO交互。即Mysql和磁盘进行数据交互的基本单位是16KB.这个基本数据单元,在Mysql这里叫做Page。
1.2建立共识
🖊MySQL 中的数据文件,是以page为单位保存在磁盘当中的。
🖊MySQL 的 CURD 操作,都需要通过计算,找到对应的插入位置,或者找到对应要修改或者查询的数据。
🖊只要涉及计算,就需要CPU参与,而为了便于CPU参与,一定要能够先将数据移动到内存当中。
🖊所以在特定时间内,数据一定是磁盘中有,内存中也有。后续操作完内存数据之后,以特定的刷新策略,刷新到磁盘。而这时,就涉及到磁盘和内存的数据交互,也就是IO了。而此时IO的基本单位 就是Page。
🖊为了更好的进行上面的操作, MySQL 服务器在内存中运行的时候,在服务器内部,就申请了被称 为 Buffer Pool 的的大内存空间,来进行各种缓存。其实就是很大的内存空间,来和磁盘数据进行IO交互。
🖊为了更高的效率,一定要尽可能的减少系统和磁盘IO的次数
1.3索引的理解
演示加深理解:
建立测试表
插入多条记录
这里插入了多条记录,但是并不是按照主键的大小顺序插入的。
查看插入结果:
但是查看结果是有序的。这是因为有主键的缘故,默认为我们建立了索引,Mysql会默认按照主键给我们的数据进行排序。
实际上Mysql和磁盘的交互是以Page为基本单位:
不同的Page,在Mysql中,都是16KB,使用prev和next构成双向链表。
从上面的Page内数据记录可以看出来,mysql会对有主键的数据处理使得数据是有序且彼此关联的。
为什么数据库在插入数据时要对其进行排序呢?我们按正常顺序插入数据不是也挺好的吗? 插入数据时排序的目的,就是优化查询的效率。
页内部存放数据的模块,实质上也是一个链表的结构,链表的特点也就是增删快,查询修改慢,所以优化查询 的效率是必须的。 正是因为有序,在查找的时候,从头到后都是有效查找,没有任何一个查找是浪费的,而且,如果运气好,是可以提前结束查找过程的。
理解多个Page
通过上面的分析,我们知道,上面页模式中,只有一个功能,就是在查询某条数据的时候直接将一 整页的数据加载到内存中,以减少硬盘IO次数,从而提高性能。
但是,我们也可以看到,现在的页模式内部,实际上是采用了链表的结构,前一条数据指向后一条数据,本质上还是通过数据的逐条比较来取出特定的数据。
如果有1千万条数据,一定需要多个Page来保存1千万条数据,多个Page彼此使用双链表链接起 来,而且每个Page内部的数据也是基于链表的。那么,查找特定一条记录,也一定是线性查找。这效率也太低了。
针对这种情况,我们引入了目录:
单页情况:
那么当前,在一个Page内部,我们引入了目录。比如,我们要查找id=4记录,之前必须线性遍历4次, 才能拿到结果。现在直接通过目录2[3],直接进行定位新的起始位置,提高了效率。现在我们可以再次 正式回答上面的问题了,通过键值 MySQL 会自动排序,根据键值插入到不同的目录中。
多页情况:
MySQL 中每一页的大小只有 16KB ,单个Page大小固定,所以随着数据量不断增大, 16KB 不可能存下 所有的数据,那么必定会有多个页来存储数据。
在单表数据不断被插入的情况下, MySQL会在容量不足的时候,自动开辟新的Page来保存新的数据,然后通过指针的方式,将所有的Page组织起来。
需要注意,上面的图,是理想结构,大家也知道,目前要保证整体有序,那么新插入的数据,不一定会 在新Page上面,这里仅仅做演示。
这样,我们就可以通过多个Page遍历,Page内部通过目录来快速定位数据。可是,貌似这样也有效率问题,在Page之间,也是需要 MySQL 遍历的,遍历意味着依旧需要进行大量的IO,将下一个Page加载到内存,进行线性检测。这样就显得我们之前的Page内部的目录,有点杯水车薪了。
那么如何解决呢?解决方案,其实就是我们之前的思路,给Page也带上目录。
🖊使用一个目录项来指向某一页,而这个目录项存放的就是将要指向的页中存放的最小数据的键值。
🖊和页内目录不同的地方在于,这种目录管理的级别是页,而页内目录管理的级别是行。
🖊其中,每个目录项的构成是:键值+指针。图中没有画全。
存在一个目录页来管理页目录,目录页中的数据存放的就是指向的那一页中最小的数据。有数据,就可以通过比较,找到要访问的那个Page,进而通过指针,找到下一个Page。
其实目录页的本质也是页,普通页中存的数据是用户数据,而目录页中存的数据是普通页的地址。
这就是B+树。至此,我们已经给我们的表user建完了主键索引。
复盘一下:
🖊Page分为目录页和数据页。目录页只放各个下级Page的最小键值。
🖊查找的时候,自定向下找,只需要加载部分目录页到内存,即可完成算法的整个查找过程,大大减少了IO次数
InnoDB在建立索引结构来管理数据的时候,其他数据结构为何不行?
🖊链表肯定不可以,它是单纯的线性遍历,是我们B+树的一个子结构。
🖊二叉搜索树有退化问题,可能退化为线性结构。
🖊AVL&&红黑树虽然是平衡或者近似平衡,但是毕竟是二叉结构,相比较多阶B+,意味着树整体过高,大家都是自顶向下查找,层高越低,意味着系统与硬盘更少的IO Page交互。所以B+更优。
🖊HASH,在官方的索引实现方式中,Mysql是支持HASH的,不过InnoDB和MyISAM并不支持HASH跟其算法特征,在面对范围查找就明显不行,另外还有其他差别。
通过观察,我们发现B+树和B树的差别:
🖊B树节点,既有数据,又有Page指针,而B+,只有叶子节点有数据,而其他目录页,只有键值和Page指针。
🖊B+叶子节点,全部相连,而B树没有。
为何选择B+:
🖊目录节点不存储data,这样一个节点就可以存储更多的key。可以使得树更矮,所以IO操作次数更少。
🖊叶子节点相连,更便于进行范围查找。
1.4聚簇索引 vs 非聚簇索引
MyISAM存储引擎-主键索引
MyISAM引擎同样使用B+树作为索引结果,叶节点的data域存放的是数据记录的地址。下图为MyISAM表的主索引,Col1为主键。
其中,MyISAM最大的特点是,将索引Page和数据Page分离,也就是叶子节点没有数据,只有对应数据的地址。
相较于InnoDB索引,InnoDB是将索引和数据放在一起的。
MyISAM这种用户数据与索引数据分离的索引方案,叫做非聚簇索引。
其中,InnoDB这种用户数据与索引数据在一起的索引方案,叫做聚簇索引。
二、索引操作
2.1创建主键索引
--- 在创建表的时候,直接在字段名后指定 primary keycreate table user1 (id int primary key, name varchar(30));
-- 在创建表的最后,指定某列或某几列为主键索引create table user2(id int ,name varchar(30), primary key(id));
create table user3(id int,name varchar(30));-- 创建表以后再添加主键alter table user3 add primary key(id);
主键索引的特点:
🖊一个表中,最多只有一个主键索引。
🖊主键索引的效率高(主键不可重复)
🖊创建主键索引的列,它的值不能为null,且不能重复
🖊主键索引的列基本上是int
2.2唯一索引的创建
🖊Type1
--- 在表定义时,在某列后直接指定unique唯一属性
create table user4(id int primary key,name varchar(30) unique);
🖊Type2
--- 创建表时,在表的后面指定某列或某几列为unique
create table user5(id int primary key,name varchar(30),unique(name));
🖊Type3
create table user6(id int primary key, name varchar(30));
alter table user6 add unique(name);
唯一索引的特点:
🖊一个表中,可以有多个唯一索引
🖊查询效率高
🖊如果在某一列建立唯一索引,必须保证这列不能有重复数据
🖊如果一个唯一索引上指定not null,等价于主键索引
2.3普通索引的创建
🖊Type1
create table user8(id int primary key,
name varchar(30),
email varchar(30),
index(name) --在表的定义最后,指定某列为索引
);
🖊Type2
--- 创建表时,在表的后面指定某列或某几列为unique
create table user9(id int primary key,name varchar(30),email varchar(30));
alter table user9 add index(name); --- 创建完表以后指定某列为普通索引
🖊Type3
create table user10(id int primary key, name varchar(30), email varchar(30));
--- 创建一个索引名为 idx_name 的索引
create index idx_name on user10(name);
普通索引的特点:
🖊一个表中可以有多个普通索引,普通索引在实际开发中用的比较多。
🖊如果某列需要创建索引,但是该列有重复的值,那么我们就应该使用普通索引。
2.4全文索引的创建
可以用explain工具看一下,是否使用到索引:
那么如何使用到全文索引呢?
通过explain来分析这个sql语句
key用到了title。
2.5查询索引
🖊Type1:show keys from 表名
🖊Type2:show index from 表名
🖊Type3: desc 表名
2.6删除索引
🖊Type1
删除主键索引:alter table 表名 drop primary key;
🖊Type2
alter table 表名 drop index 索引名;--索引名就是show keys from 表名中的key_name字段
🖊Type3
drop index 索引名 on 表名
索引创建原则:
比较频繁作为查询条件的字段应该创建索引唯一性太差的字段不适合单独创建索引,即使频繁作为查询条件更新非常频繁的字段不适合作创建索引不会出现在 where 子句中的字段不该创建索引