MySQL学习之路（二十三）：索引优化分析

一、SQL性能下降的原因

1. 查询语句写得烂
2. 索引失效
   1）单值索引：create index idx_user_name on user(name);
   2）复合索引：create index idx_user_nameEmail on user(name,email);
3. 关联查询太多join（设计缺陷或不得已的需求）
4. 服务器调优及各个参数设置（缓冲、线程等）

二、常见通用的Join查询

1.SQL语句执行顺序：

请移步这篇博客的第八点：https://blog.csdn.net/qq_42826747/article/details/106166907

2.JOIN图

1）内连接

2）左连接


3）右连接


4）全连接

三、索引简介

1.什么是索引

1）MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构（索引的本质是数据结构）

2）索引的目的在于提高查询效率，可以类比字典

3）可以简单的理解为‘排好序的快速查找数据结构
①详解（重要）：MySQL 基础+高级篇- 数据库 -sql -尚硅谷P192
②结论：除了数据本身之外，数据库还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据，这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引

4）一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上

5）我们平常所说的索引，如果没有特别指明，都是值B树（多路搜索树，并不一定是二叉的）结构组织的索引。 其中聚集索引，次要索引，覆盖索引，复合索引，前缀索引，唯一索引默认都是使用B+树索引，统称索引，当然，除了B+树索引，还有哈希索引（Hash index）等。

2.优势和劣势

1）优势

①查找：类似大学图书馆建数目索引，提高数据检索的效率，降低数据库的IO成本
②排序：通过索引对数据进行排序，降低数据排序的成本，降低了CPU的消耗

2）劣势

①实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的

②虽然索引大大提高了查询速度，但是会降低更新表的速度，如读表进行INSERT，UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息

③索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询条件

3.mysql索引分类

1）单值索引：即一个索引只包含一个列，一个表可以有对个单值索引
2）唯一索引：索引列的值必须唯一，但允许有空值
3）复合索引：一个索引包含多个列
4）基本语法：
①创建：
CREATE [UNIQUE] INDEX 索引名称 ON 表名(columnName(length));
ALTER 表名 ADD [UNIQUE] INDEX [索引名称] ON(columnName(length));
②删除：
DROP INDEX [索引名称] ON 表名
③查看：
SHOW INDEX FROM 表名
④使用ALTER
ALTER TABLE 表名 ADD PRIMARY KEY (column_list); 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为null
ALTER TABLE 表名 ADD UNIQUE 索引名 (column_list);这条语句创建唯一索引
ALTER TABLE 表名 ADD INDEX 索引名 (column_list);这条语句创建普通索引
ALTER TABLE 表名 ADD FULLTEXT 索引名 (column_list);这条语句指定了索引为FULLTEXT，用于全文索引

建议：一张表的索引最多不要超过5个

4.mysql索引结构

1）BTree索引

检索原理：

初始化介绍：
一刻B+树，浅蓝色的块我们称为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P!，P2，P3，P1，表示小于17的磁盘块，P2表示17和35之间的磁盘块，P3表示大于35的磁盘块。
真实的数据存放于叶子结点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非叶子结点不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。
真实的情况是，3层的B+树可以表示上百万的数据，如果上百万的数据查找只需要3次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常的高

2）Hash索引

3）full-text全文索引

4）R-Tree索引

5.那些情况需要创建索引

1）主键自动建立唯一索引
2）频繁作为查询条件的字段应该创建索引
3）查询中与其他表关联的字段，外键关系建立索引
4）单键/组合索引的选择问题，（在高并发的倾向下创建组合索引）
5）查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
6）查询中统计或者分组字段

6.那些情况不要创建索引

1）表记录太少
2）经常增删改的表
3）数据重复且分布平均的表字段
4）频繁更新的字段不适合创建索引：因为每次更新不仅要更新记录还要更新索引
5）Where条件里用不到的字段不创建索引

四、性能分析

1. MySql Query Optimizer

MySQL自带的查询优化器

2. MySQL常见瓶颈

1）CPU：CPU在饱和的时候一般发生在数据装入内存或从磁盘读取数据的时候
2）IO：磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
3）服务器硬件的性能瓶颈：top，free，iostat和vmstat来查看系统的性能状态

3. Explain

1）是什么（查看执行计划）

使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈

2）能干嘛

• 表的读取顺序 ——id
• 数据读取操作的操作类型——select_type，type
• 哪些索引可以使用——possible_keys
• 哪些索引实际被使用——key，ref
• 表之间的引用——table
• 每张表有多少行被优化器查询——rows

3）怎么玩

explain SQL语句;
例子：
EXPLAIN SELECT * FROM tbl_emp;

4）各字段解释

具体介绍推荐查看：MySQL 基础+高级篇- 数据库 -sql -尚硅谷p200
①id：select查询的序列号，包含一组数字，表示查询中执行的select子句或表的操作顺序

共有3中情况

• id相同，执行顺序从上到下
  
• id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
  
• id相同不同，同时存在
  

②select_type：查询的类型，主要是用于区别普通查询、联合查询、子查询等复杂查询

id	select_type	说明
1	SIMPLE	简单的select查询，查询中不包含子查询或UNION
2	PRIMARY	查询中若包含任何复杂的子部分，最外层查询则被标记为
3	SUBQUERY	在SELECT或WHERE列表中包含了子查询
4	DERIVED	在FROM列表中包含的子查询被标记为DERIVED（衍生），MySQL会递归执行这些子查询，把结果放在临时表中
5	UNION	若第二个SEELCT出现在UNION之后，则标记为UNION；若UNION包含在FROM子句的子查询中，外层SELECT将被标记为：DERIVED
6	UNION RESULT	从UNION表获取结果的SELECT

③table：表示查询数据来源于那个表

④type：访问类型，显示查询使用了何种类型

从最好到最差依次是：system>const>eq_ref>ref>range>index>ALL
一般来说，得保证查询至少达到range级别，最好能达到ref

type	说明
system	表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，可以忽略不计
const	表示通过索引一次就找到了，const用于比较primary key或者unique索引，因为只匹配一行数据，所以很快，如将主键置于where列表中，MySQL就能将该查询转换为一个常量
eq_ref	唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描
ref	非唯一性索引扫描，返回匹配某个单独值的所有行，可能会找到多个符合条件的行，所以属于查找和扫描的混合体
range	只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引，一般就是在where语句中出现了between、<、>、in等的查询，好处在于不用扫描全部索引
index	Full Index Scan，index和ALL区别为index类型只遍历索引树，这通常比索引树快，因为索引树通常比数据文件小（也就是说虽然两者都是读全表，但index是从索引中读取，而ALL是从硬盘中读取）
ALL	Full Table Scan 将遍历全表以找到匹配的行
NULL

⑤possible_keys：显示可能应用在这张表中的索引
查询涉及到的字段若存在索引，则该索引将被列出，但不一定被查询实际使用

⑥key：查询实际使用到的索引
实际使用的索引。如果为NULL，则没有使用索引。
查询中若使用了覆盖索引，则该索引仅出现在key列表中

覆盖索引：（索引覆盖）

• 理解方式一：就是select的数据列只需要从索引中就能够获取，不必读取数据行，MySQL可以利用索引返回select列表中的字段，而不必根据索引再次读取数据文件，换句话说，查询列被所建的索引覆盖

• 理解方式二：索引是一个高效找到行的一个方法，但是一般数据库也能使用索引找到一个列的数据，因此他不必读取整个行。毕竟索引叶子节点存储了它们索引的数据；当能通过读取索引就可以得到想要的数据，那就不需要读取行了。一个索引包含了（或覆盖了）满足查询结果的数据就叫做覆盖索引
  

⑦key_len：表示索引中使用的字节数。

• 可通过该列计算查询中使用的索引的长度。在不损失精度的情况下，长度越短越好。
• key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算得到的，不是通过表内检索出的。
  
  ⑧ref：显示索引的哪一列被使用了，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值
  
  
  ⑨rows：根据表统计信息及索引选用情况，大致估算出找到所需记录所需要读取的行数
  
  ⑩extra：包含不适合在其他列中显示但十分重要的额外信息、

额外信息	说明
Using filesort	说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序”出现这种情况说明九死一生
Using temporary	使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于order by 和group by出现这种情况说明十死无生 因此，建立索引后，group by或order by尽量要与索引保持一致
Using index	表示相应的select操作中使用了覆盖索引，避免了表的数据行，效率不错！出现这种情况说明发了!
Using where	使用了where过滤
Using join buffer	使用了连接缓存
impossible where	where子句的值总是false，不能用来获取任何元组
select tables optimized away	在没有group by子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT（*）操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化
distinct	优化distinct操作，在找到第一个匹配的元组后即停止找同样值的动作

5）热身Case

SQL语句执行的顺序：4 - 3 - 2 - 1 - NULL

五、索引优化

1.索引分析

1）单表

MySQL高级篇（高阳）建表sql语句大全
教程视频链接
单表案例总结：range类型查询字段后面的索引失效
案例：

1.查询category_id为1且comments>1的情况下，views最多的atricle_id
EXPLAIN SELECT id,author_id FROM article WHERE category_id = 1 AND comments > 1 ORDER BY views DESC LIMIT 1;

2）双表

MySQL高级篇（高阳）建表sql语句大全
教程视频链接
双表案例总结：

• 由左连接的特性决定，LEFT JOIN 条件用于确定如何从右表搜索行，左边的表的值一定都有，所以右边是我们的关键点，一定要建立索引
• 由右连接的特性决定，RIGHT JOIN 条件用于确定如何从左表搜索行，右边的表的值一定都有，所以左边是我们的关键点，一定要建立索引

3）三表

MySQL高级篇（高阳）建表sql语句大全
教程视频链接
结论：

• 尽可能减少Join语句中的NestedLoop的循环总次数，“永远用小结果集驱动大的结果集”
• 优先优化NestedLoop的内层循环
• 保证Join语句中被驱动表上Join条件字段已经被索引
• 当无法保证被驱动表的Join条件字段被索引且内存资源充足的前提下，不要太吝啬JoinBuffer的设置

2.索引失效（应该避免）

建表
MySQL高级篇（高阳）建表sql语句大全链接：https://blog.csdn.net/qq_42826747/article/details/106674270

测试案例所用数据库

1)全值匹配我最爱

2)最佳左前缀法则（带头大哥不能丢【火车头】）

如果索引了多列(复合索引)，要遵守最佳左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列

3)不要在索引列上做任何操作，（计算、函数、（自动或手动）类型转换）会导致索引失效而转向全表扫描

4)存储引擎不能使用索引中范围条件右边的列

5)尽量使用覆盖索引（只访问索引的查询（索引列与查询列一致）），减少select *

6)mysql在使用不等于（!=或者<>）的时候无法使用索引会导致全表扫描

7)is null，is not null 也无法使用索引

8)like以通配符开头（’%abc…’）mysql索引失效会变成全表扫描的操作

问题：解决like ‘%字符串%’ 是索引不被使用的方法？
使用覆盖索引：https://www.bilibili.com/video/BV12b411K7Zu?p=218

9)字符串不加单引号索引失效

10)少用or，用它来连接时索引会失效

11)小总结

口诀：
全值匹配我最爱，最左前缀要遵守
带头大哥不能死，中间兄弟不能断
索引列上无计算，范围之后全失效
LIKE百分写最右，覆盖索引不写星
不等空值还有Or，索引失效要少用

12).索引面试题讲解

建表：MySQL高级篇（高阳）建表sql语句大全链接：https://blog.csdn.net/qq_42826747/article/details/106674270

3. 一般性建议

1. 对于单键索引，尽量选择针对当前query过滤性更好的索引
2. 在选择组合索引的时候，当前Query中过滤性最好的字段在索引字段顺序中，位置越靠左越好
3. 在选择组合索引的时候，尽量选择能够包含当前query中where子句中更多字段的索引
4. 尽可能通过分析统计信息和调整query的写法来达到选择适合索引的目的