MySQL优化-索引

索引（键-key）是存储引擎用于快速找到记录的一种数据结构，MySQL中索引是在存储引擎层而不是服务器层实现的。

索引优化是一个非常复杂的话题！

 

三星索引

如果与一个查询相关的索引行是相邻的，或者至少足够靠近的话，那这个索引就可以被标记上第一颗星。这最小化了必须扫描的索引片的宽度。

如果索引行的顺序与查询语句的需求一致，则索引可以被标记上第二颗星。这排除了排序操作。

如果索引行包含查询语句中的所有列——那么索引就可以被标记上第三颗星。这避免了访问表的操作，仅访问索引就可以了。

 

对于这三颗星，第三颗通常是最重要的。

 

 

 

你需要了解索引的类型，各自的适用场景

1）B-Tree索引

索引块内值是按顺序存储的，所以除了按值查找，还可以用于ORDER BY和GRUOUP BY

全值匹配、键值范围、键前缀查找

2）哈希索引

只支持等值比较，不支持范围查询，无法用于排序，不能避免读取行

只有Memory支持哈希索引，怎么办，可以应用在B-Tree基础上创建一个伪哈希索引，即增加一个用于保存哈希值的列

自适应哈希索引：InnoDB注意到某些索引值使用很频繁时，会在内存中给予B-Tree索引之上创建哈希索引

3）空间数据索引（R-Tree）

地理数据

4）全文索引

查找文本中的关键词，而不是直接比较索引中的值

 

你需要了解索引的优缺点。

优点

1） 快速定位到表的指定位置，减少需要扫描的数据量。

2） 索引用于ORDER BY和GRUOUP BY时，能避免排序和临时表

3） 索引中存了实际值，某些查询使用索引就能完成查询，这样随机I/O变为顺序I/O

缺点

1） 占用磁盘空间

2） 插入，更新，删除会变慢

 

你需要了解存储引擎对索引的影响。MySQL中索引是在存储引擎层而不是服务器层实现的。各个存储引擎对索引的实现方式不同，各有优劣。

1） InnoDB

聚簇索引：在同一个结构中保存了B-Tree索引和数据行，二级索引通过主键引用行。这样的策略减少了出现行移动或者数据页分裂时二级索引的维护工作，获取数据更快。但二级索引会占用更多的空间，更新聚簇索引列代价很高，写入是乱序时导致很多页分裂，碎片和大量随机I/O，二级索引访问需要两次索引查找。

根据聚簇索引的特征，使用InnoDB时应尽可能地按主键顺序插入数据，尽可能地使用单调增加的聚簇键的值来插入新行。这种就没有问题吗？有，高并发时的争用问题。主键的上界处是热点，会有间隙锁竞争。auto-increment锁机制.

二级索引中包含主键值，可以用作覆盖索引。

2） MyISAM

索引通过数据的物理位置引用行。

对B-Tree索引，会使用前缀压缩技术对索引块进行压缩，默认只压缩字符串。该策略有好有坏，需要注意是CPU密集型应用还是I/O密集型应用

内存中只缓存索引块

3） Memory

只有Memory支持哈希索引。

 

你需要了解能让索引更好工作的策略。

1） SQL语句中不能将索引列作为函数参数或表达式的一部分。

2） 对很长的字符列使用前缀索引，根据索引的选择性计算合适的前缀长度

3） 多列索引

因为对每个列创建独立的索引，在有多个条件时会触发索引合并策略，会消耗更多的CPU和内存资源，EXPLAIN时Extra信息中有Using Union

4）  选择合适的索引列顺序

经验法则是：将选择性最高的列放在索引最前列。但不是绝对的，根据场景而定。

5）  覆盖索引

指索引包含所有需要查询的字段的值。

EXPLAIN出来的Extra显示Using index

6）  用索引扫描去做排序

EXPLAIN出来的Type显示index

可以使用同一个索引既满足排序，又用于查找行。

7）  重复索引和冗余索引

重复索引：对一个列同时primary key，unique，index

冗余索引：（A，B）（A）（B,A）

                     InnoDB：（A） 与 （A，主键）

8）  索引与锁

索引可以让查询锁定更少的行。

 

你需要会分析EXPLAIN查询的执行计划。

1）id列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表是这是一个结果集，不需要使用它来进行查询。

2）select_type列常见的有：

A：simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个

B：primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个

C：union：union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union

D：dependent union：与union一样，出现在union 或union all语句中，但是这个查询要受到外部查询的影响

E：union result：包含union的结果集，在union和union all语句中,因为它不需要参与查询，所以id字段为null

F：subquery：除了from字句中包含的子查询外，其他地方出现的子查询都可能是subquery

G：dependent subquery：与dependentunion类似，表示这个subquery的查询要受到外部表查询的影响

H：derived：from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套select

3）table

显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，如果显示为尖括号括起来的<derivedN>就表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。如果是尖括号括起来的<union M,N>，与<derivedN>类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。

4）type

依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引

A：system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index

B：const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描

C：eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref

D：ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。

E：fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引

F：ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多。

G：unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值

H：index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。

I：range：索引范围扫描，常见于使用>,<,isnull,between ,in ,like等运算符的查询中。

J：index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取所个索引，性能可能大部分时间都不如range

K：index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。

L：all：这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。

5）possible_keys

查询可能使用到的索引都会在这里列出来

6）key

查询真正使用到的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。

7）key_len

用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里就会计算进去，没有使用到的列，这里不会计算进去。留意下这个列的值，算一下你的多列索引总长度就知道有没有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不会计入其中。另外，key_len只计算where条件用到的索引长度，而排序和分组就算用到了索引，也不会计算到key_len中。

8）ref

如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func

9）rows

这里是执行计划中估算的扫描行数，不是精确值

10）extra

这个列可以显示的信息非常多，有几十种，常用的有

A：distinct：在select部分使用了distinc关键字

B：no tables used：不带from字句的查询或者From dual查询

C：使用not in()形式子查询或notexists运算符的连接查询，这种叫做反连接。即，一般连接查询是先查询内表，再查询外表，反连接就是先查询外表，再查询内表。

D：using filesort：排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中

E：using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据。

F：using join buffer（block nestedloop），using join buffer（batched key accss）：5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。

G：using sort_union，using_union，using intersect，usingsort_intersection：

usingintersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集

usingunion：表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集

usingsort_union和usingsort_intersection：与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。

H：using temporary：表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。

I：using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP特性，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。extra列显示usingindex condition

J：firstmatch(tb_name)：5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个

K：loosescan(m..n)：5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个

除了这些之外，还有很多查询数据字典库，执行计划过程中就发现不可能存在结果的一些提示信息

11）filtered

使用explainextended时会出现这个列，5.7之后的版本默认就有这个字段，不需要使用explain extended了。这个字段表示存储引擎返回的数据在server层过滤后，剩下多少满足查询的记录数量的比例，注意是百分比，不是具体记录数。

 

总结：

1）编写查询语句时应尽可能选择合适的索引以避免单行查找、尽可能地使用数据原生顺序从而避免额外的排序操作、尽量可能使用索引覆盖查询。

2）如果一个查询无法从所有可能地索引中获益，应该看看是否可以创建一个更合适的索引来提升性能。

3）有时对某些查询不可能创建一个“三星”索引，如查询按照两个列排序，一个正序，另一个反序，必须有所取舍创建最合适的索引，或者寻求替代策略（反范式化，提前计算汇总表）。

 

判断索引创建是否合理的思路？

按响应时间分析，找出消耗最长时间的查询或者给服务器带来最大压力的查询。检查这些查询的schema、sql和索引结构，判断是否有查询扫描了太多的行，是否做了很多额外的排序或者使用了临时表，是否使用随机I/O访问数据，是否有太多回表查询那些不在索引中的列的操作。