MYSQL高级（二）---索引

2.2索引

2.2.1概述

索引（index）是帮助MySQL高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特点查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高效查找算法，这种数据结构就是索引

演示：

索引优缺点

优势	劣势
提高数据检索的效率，降低数据库的IO成本	索引列也是要占用空间的
通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗	索引大大提高了查询效率，同时却也降低更新表的速度，如对表进行INSERT、UPDATE、DELETE时，效率降低

• 索引列虽然费空间，但是目前硬盘很便宜
• 虽然降低DML效，但是一个正常的业务代码中，SELECT更多

2.2.2索引结构

MYSQL的索引是在存储引擎层实现的，不同的存储引擎有不同的结构，主要包含以下几种：

存储引擎的支持情况

不论使用什么存储引擎，如果没有显示的指定，默认的都是B+tree索引

索引结构

2.2.2.1二叉树索引

二叉树的缺点：顺序插入时，会形成一个链表，查询性能大大降低。大数据量情况下，层级较深，检索速度慢，要规避这样的问题，就转换为红黑树（自平衡）

红黑树也有缺点：大数据量的情况下，层级较深，检索速度慢

但是这样也有问题，怎么办呢？先看看B-Tree

2.2.2.2B-Tree索引

B-Tree（多路平衡查找树）

• 以一颗最大度数（max-degree）为5（5阶）的b-tree为例（每个节点最多存4个key，5个指针）

20之前试一个指针，指向比20小的数，20~30是第二个指针，指向20~30之间的数…

构建B-Tree

具体可以进入网站https://www.cs.usfca.edu/~galles/visualization/BTree.html内自测

2.2.2.3B+Tree索引

B+Tree

• 以一颗最大度数（max-degree）为4（4阶）的b+tree为例

可见，非叶节点成为索引，叶子节点成为单向链表

构建B+Tree

具体可以进入网站https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html内自测

相对于B-Tree的区别：

• 所有的数据都会出现在叶子节点
• 叶子节点形成一个单向链表

MYSQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加了一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高了区间访问的性能

数据的存储是在叶子节点中，非叶节点只起索引的作用

2.2.2.4Hash索引

Hash索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中

如果两个（或多个）键值，映射到一个相同的槽位上，他们就产生了hash冲突（也称为hash碰撞），可以同过链表解决

特点：

• Hash索引只能用于对等比较（=，in），不支持范围查询（bewteen，<，>，…）
• 无法利用索引完成排序操作
• 查询效率高，通常只需要一次检索就可以了，效率通常要高于B+Tree索引

在Mysql中，只有Memory索引支持hash，而lnnoDB中具有自适应hash功能，hash索引是存储引擎根据B+Tree索引在指定条件下自动构建的

2.2.2.5思考

为什么InnoDB存储引擎选择使用B+Tree索引结构？

• 相对于二叉树（二叉搜索树、红黑树），层级更少，搜索效率高
• 相对于B-Tree，无论是叶子节点还是非叶节点，都会保存数据，这样导致一页中存储的键值减少，指针跟着减少，要同样保存大量数据，只能增加树的高度，导致性能降低
• 相对于Hash索引，B+Tree支持范围匹配及排序操作

2.2.3索引分类

在InnoDB存储引擎中，根据索引的存储形式，又可以分为以下两种：

聚集索引的选取规则

• 如果存在主键，那么主键就是聚集索引

• 如果没有主键，那么会选择第一个唯一（UNIQUE)，作为聚集索引

• 如果没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索引

也就是说，聚集索引一定存在

具体的演示：

其中，id为主键，name为二级索引

当执行该查询语句时，先由二级索引查找到’Arm’，然后获取到id值之后走到聚集索引找到id为10的值，最后返回该行，这样的步骤又称为回表查询

思考：

哪个速度更快？

• select * from user where id = 10;

• select * from user where name = ‘Arm’;

显然是第一个，因为第二个会回表查询

2.2.4索引语法

创建索引

CREATE [UNIQUE|FULLTEXT] INDEX index_name ON table_name (index_col_name,.....);

查看索引

SHOW INDEX FROM table_name;

删除索引

DROP INDEX index_name ON table_name;

2.2.5SQL性能分析

2.2.5.1SQL执行频率

MYSQL客户端链接成功之后，通过show[session|global] status 命令可以提供服务器的状态信息。通过如下命令，可以查看当前数据库的INSERT、DELETE、UPDATE、SELECT的执行频率

show global status like 'Com_______' ;  #'_'七个

执行后的查询结果

2.2.5.2慢查询日志

慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认10s）的所有SQL语句的日志。

查看慢查询是否开启，MYSQL的慢查询日志默认没有开启，

show variables like 'slow_query_log';

需要在MYSQL的配置文件中(/etc/my.cnf)配置如下信息：

#以下必须在[mysqld]下配置

#开启MYSQL慢查询开关
slow_query_log=1

#设置慢日志的时间为2s，SQL语句执行时间超过2s，就会视为慢查询，记录满查询日志
long_query_time=2

#慢查询日志文件路径
slow_query_log_file=/usr/local/mysql/log/mysql-slow.log

配置完毕之后，通过以下指令重启MYSQL客户端进行测试，查看慢日志文件中记录的信息/var/lib/mysql/localhost-slow.log

#查看linux的mysql名称  查询服务列表
chkconfig --list  

#查询结果
#mysql          	0:off	1:off	2:on	3:on	4:on	5:on	6:off

#重启mysql服务器
systemctl restart mysql

#另一种方法
service mysql restart

重启后重新输入查看慢查询的命令：

show variables like 'slow_query_log';

慢查询已开启，并且在/var/lib/mysql/localhost-slow.log下已经看到对应的log文件已出现，内容为：

/usr/local/mysql/mysql-8.0/bin/mysqld, Version: 8.0.26 (MySQL Community Server - GPL). started with:
Tcp port: 3306  Unix socket: /tmp/mysql.sock
Time                 Id Command    Argument

只要有超过2s的就记录下来，但是当一个很简单的语句执行了1.9s怎么办？接下来看profile

2.2.5.3profile详情

show profile 能够在做SQL优化时帮助我们了解时间都耗费到哪去了。通过have_profiling参数，能够看到当前MySQL是否支持profile操作：

select @@have_profiling;

可以看到：

默认是关闭的（这里已经设置过了），如果想要使用，可以通过session/global级别开启profiling

SET profiling = 1;

之后查询一个表的数据

select * from t_user;

执行

show profiles;

结果如下：

语法：

#查看每一条SQL的耗时基本情况
show profiles;

#查看指定query_id的SQL语句各个阶段的耗时情况
show profile for query query_id;

#查看指定query_id 的SQL语句CPU的使用情况
show profile cpu for query query_id;

2.2.5.4explain执行计划

EXPLAIN或者DESC命令获取MYSQL如何执行SELECT语句的信息，包括在SELECT语句执行过程中表如何连接和连接的顺序

语法：

#直接在select语句之前加上EXPLAIN/DESC
EXPLAIN SELECT 字段名 FROM 表名 WHERE 条件;

执行之后：

各字段解释：

• id：select查询的序列号，表示查询中执行select子句或者是操作表的顺序（id相同，执行顺序从上到下；id不同，值越大，越先执行，上面的图片是一条，但是对于多表查询来说，是多条）
• select_type：表示SELECT的类型，常见的取值有SIMPLE（简单表，即不使用表连接或者子查询）、PRIMARY（主查询，即外层的查询）、UNION（UNION中的第二个或者后面的语句）、SUBQUERY（SELECT/WHERE之后包含了子查询）等
• type：表示连接类型，性能由 好到差的连接类型为NULL（基本达不到）、system、const（主键、唯一索引）、eq_ref、ref（非唯一索引）、range、index、all
• possible_keys：显示可能应用在这张表上的索引，一个或多个
• key：实际使用的索引，如果为NULL，则没有使用索引
• key_len：表示索引中使用的字节数，该值设置为索引字段最大可能长度，并非实际使用长度，在不损失精确性的前提下，长度越短越好
• rows：MYSQL认为必须执行的查询行数，在InnoDB引擎的表中，是一个估计值，可能并不是准确的
• filtered：表示返回结果的行数站需读取行数的百分比，filtered的值越大越好

2.2.6使用规则

使用索引比不使用索引效率会高，可以自行尝试，给某个字段加上索引然后比较不加的结构（数据量大的时候会很明显）

2.2.6.1 最左前缀法则

主要针对于联合索引，如果索引了多列（联合索引），要遵循最左前缀法则。最左前缀法则指的是查询从索引最左列开始，并且不跳过索引中的列。如果跳跃了某一列，索引将部分失效，跳跃了最左边的列，索引将失效，走全表扫描。

2.2.6.2 范围查询

主要针对于联合索引，出现范围查询（>、<），范围查询右侧的列索引将失效

#索引为profession 、age、 status 三个联合索引
select * from tb_user where profession = '软件工程' and age >30 and status = '0';

此时age右边的status字段的索引会失效

那么怎么规避呢？

在业务运行的范围内，在范围查询内加上’='，

select * from tb_user where profession = '软件工程' and age >30 and status = '0';

此时右边的status也没问题

2.2.6.3 索引列运算

不要在索引列上进行运算，否则索引会失效

#phone 为单列索引
select * from tb_user where phone = '12345678910';

此时没问题，是一个正常的查询

#从手机号的第10位开始截取，截取两位，后两位数字=15的行
select * from tb_user where substring(phone,10,2) = '15';

此时索引会失效，因为使用了函数

2.2.6.4 字符串不加引号

#phone 为单列索引
select * from tb_user where phone = 12345678910;

查询出来没问题，但是查询计划有问题，可以使用explain查看

这样查找会失效，因为不加单引号相当于隐式类型转换，索引失效

2.2.6.5 模糊查询

如果仅仅是尾部进行模糊匹配，索引不会失效，但是如果是头部进行模糊匹配，索引失效

#profession 为索引
select * from tb_user where profession like '软件%';

此时查询是走了索引的，没问题

但是如果是前面进行模糊匹配

select * from tb_user where profession like '%软件';

此时是不走索引的，如果前后都加了%，那么索引也会失效

2.2.6.6 or连接的条件

用or分割开的条件，如果or前条件中的列有索引，二后面的列中没有索引，那么涉及的所有索引都会无效（一侧有索引，一侧没有索引，索引都会失效）

#id为主键，age不是索引
select * from tb_user where id = 10 or age = 22;

此时索引会失效

#iphone是索引，age不是索引
select * from tb_user where phone = '12345678910' or age = 22;

规避：两侧都加上索引

2.2.6.7 数据分布影响

如果MySQL评估使用索引比全表扫描慢，那么不会使用索引，而使用全表扫描

2.2.6.8 SQL提示

#profession即是联合索引，也是单列索引
select * from tb_user where profession = '软件工程';

运行结果使用的是单列索引，并且是MYSQL自己决定的，是他智能优化后的结果

SQL提示，是优化数据库的一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的

user index

#指定使用哪个索引
select * from tb_user user index(idx_user_pro) where profession = '软件工程';

ignore index

#指定不使用哪个索引
select * from tb_user ignore index(idx_user_pro) where profession = '软件工程';

force index

#必须使用哪个索引
select * from tb_user force index (idx_user_pro) where profession = '软件工程';

2.2.6.9 覆盖索引

尽量使用覆盖索引（查询使用了索引，并且需要返回带有索引的列，在该索引中已经全部能够找到），减少select * 的使用

尽量避免*的使用，就是因为有很大可能会涉及回表查询，降低效率

思考

一张表，有四个字段（id,username,password,status)由于数据量大，需要对以下SQL语句进行优化，该如何优化？

select id,username,password from tb_user where username = 'itcast';

很简单，给username和password建立联合索引

2.2.6.10 前缀索引

当字段类型为字符串（varchar、text）时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘IO，影响查询效率。此时可以只将字符串的一部分前缀，建立索引，这样可以大大节约索引空间，从而提高索引效率。

语法：

#(n) 前几个字符建立索引
create index id_xxxx on table_name(colnum(n));

前缀长度

可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的从记录数的比值，索引选择性越高则查询效率越高，唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的

#总记录数
select count(*) from tb_user;

#查看某个字段不重复的记录数  distinct去重
select count(distinct email) from tb_user;

#email字段的选择性：
select count(distinct substring(email,1,10)) / count(*) from tb_user;

2.2.6.11 单列索引和联合索引的选择

• 单列索引：一个索引只包含一列（一个字段）
• 联合索引：一个索引包含多列（多个字段）

类似覆盖索引，当两个单列索引同时作为查找条件并且作为返回结果时，仅仅会使用一个索引，那么另外一个索引就没法使用，没被使用的索引仍然会进行回表查询。

更推荐使用联合索引

**联合索引情况： **

2.2.6.12 索引设计原则

• 针对于数据量较大，且查询比较频繁的表简历索引
• 针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索引
• 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高
• 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引
• 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率
• 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率
• 如果索引列不能存储NULL值，请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时，他可以更好的确定哪个索引最有效的用于查询