Mysql索引设计与优化

本文目的：认识索引，创建最合适的索引，优化sql，本文基于Mysql5.7 innoDB

1、认识索引

创建索引的目的：为了帮助Mysql高效的查询数据，其本身也是一种数据结构（B+Tree）

索引的分类：

1. 普通单一字段索引：索引只包含一个字段，一个表可以存着多个
2. 唯一索引：可以包含1-16个字段，一般控制在3-5个，组合字段值必须全表唯一，可以为空值，但不建议为空值
3. 组合索引：可以包含1-16个字段，一般控制在3-5个，使用时注意最左原则（1,12,123）
4. 主键索引：特殊的唯一索引（单个或多个列），不可用为空值，建议有序（插入时按顺序插入，减少节点移动，页分裂）
5. 全文索引：类似于倒排索引的意思

注意点：

1. 索引要尽量占内存少也就是能使用int绝不用varchar，索引的存储也是占内存的也需要考虑io、内存方面的因素，如果必须使用较长的varchar作为索引，可使用前缀索引
2. 全文索引不支持前缀索引

创建索引的好处：

1. 以B+Tree为例，数据都是有序分布在各个节点，通过二分查找/快速查找等算法，大大减少了查询次数及IO操作
2. 数据已排序好，如果查询的范围数据需要排序就比较方便

存在不足：

1. 占用空间，索引也是以一种数据结构的方式存储，索引越多占用空间越大
2. 增删改速度降低，需要更改数据的同时需要维护索引，删除的时候还牵扯节点的移动

2、怎么创建最合适的索引

创建索引并非一日之功，需要根据业务的不断变化，sql的不断更改来不断优化

初期可参考点：

1. 主键必须要有，建议自增
2. 频繁用于查询条件的字段
3. 业务确保唯一的字段，幂等最后防线字段，需要做唯一索引
4. 联合查询时联合外键字段需要做索引
5. 经常用作统计、排序、分组的字段需要做索引
6. order by 排序频繁时一定要做索引，避免Filesort排序

哪些情况不适合做索引

1. 查询条件不经常用的字段不适合做索引，浪费空间
2. 更改频繁的字段不适合做索引，牵扯到频繁更新索引，比较耗时
3. 性别这种重复性较大的字段不适合做索引，即便做索引树上也就两个节点，非聚簇索引节点存的是索引值和聚簇索引值，查主键索引的时候还是数据量很大，而且还需要维护，得不偿失，但如果是状态字段比如1、2、3,3为终态占比很高，而我们要查询1、2的频率又很高，这个时候是可以建立索引的
4. 聚簇索引可以理解为主键索引，非聚簇索引可以理解为非主键索引，而非聚簇索引上存的是索引值和聚簇索引的值，并非真正的行数据，而聚簇索引存的是真正的数据，所以非聚簇索引查询需要两次索引查询（先查非聚簇索引找到聚簇索引的值，然后拿聚簇索引的值查真正的值，简称回表）
5. 网上很多说数据量少的时候不适合做索引，但个人觉得还是建表就给索引，毕竟公司几百万数据轻轻松松就上去了，到时候在搞弄不好还锁表或者忘了，还得有专门的工具去做，懒得搞

3、优化sql

优化之前首先要清楚索引在什么情况下会失效

1. 组合索引最左原则
2. 索引列有null
3. 反向条件不走索引：!=、<>、not in、not exists、not like 等
4. like %在前不走索引
5. 判断条件在最前面后面的字段不走索引，所以尽量吧>这类的条件放后面
6. 索引列进行函数计算等不走、、、、、、、

了解了这些条件后在写SQL的时候尽量避免，如果感觉避免了但还没走索引，可以用EXPLAIN小工具进行排查优化

只需要在sql前加EXPLAIN即可

id

select 查询的序列号，包含一组可以重复的数字，表示查询中执行sql语句的顺序。一般有三种情况：
 第一种：id全部相同，sql的执行顺序是由上至下；
 第二种：id全部不同，sql的执行顺序是根据id大的优先执行；
 第三种：id既存在相同，又存在不同的。先根据id大的优先执行，再根据相同id从上至下的执行。

select_type

select 查询的类型，主要是用于区别普通查询，联合查询，嵌套的复杂查询
simple：简单的select 查询，查询中不包含子查询或者union
primary：查询中若包含任何复杂的子查询，最外层查询则被标记为primary
subquery：在select或where 列表中包含了子查询
derived：在from列表中包含的子查询被标记为derived（衍生）MySQL会递归执行这些子查询，把结果放在临时表里。
union：若第二个select出现在union之后，则被标记为union，若union包含在from子句的子查询中，外层select将被标记为：derived
union result：从union表获取结果的select

partitions

表所使用的分区，如果要统计十年公司订单的金额，可以把数据分为十个区，每一年代表一个区。这样可以大大的提高查询效率。

type

这是一个非常重要的参数，连接类型，常见的有：all , index , range , ref , eq_ref , const , system , null 八个级别。
 性能从最优到最差的排序：system > const > eq_ref > ref > range > index > all
对java程序员来说，若保证查询至少达到range级别或者最好能达到ref则算是一个优秀而又负责的程序员。
all：（full table scan）全表扫描无疑是最差，若是百万千万级数据量，全表扫描会非常慢。
index：（full index scan）全索引文件扫描比all好很多，毕竟从索引树中找数据，比从全表中找数据要快。
range：只检索给定范围的行，使用索引来匹配行。范围缩小了，当然比全表扫描和全索引文件扫描要快。sql语句中一般会有between，in，>，< 等查询。
ref：非唯一性索引扫描，本质上也是一种索引访问，返回所有匹配某个单独值的行。比如查询公司所有属于研发团队的同事，匹配的结果是多个并非唯一值。
eq_ref：唯一性索引扫描，对于每个索引键，表中有一条记录与之匹配。比如查询公司的CEO，匹配的结果只可能是一条记录，
const：表示通过索引一次就可以找到，const用于比较primary key 或者unique索引。因为只匹配一行数据，所以很快，若将主键至于where列表中，MySQL就能将该查询转换为一个常量。
system：表只有一条记录（等于系统表），这是const类型的特列，平时不会出现，了解即可

possible_keys

显示查询语句可能用到的索引(一个或多个或为null)，不一定被查询实际使用。仅供参考使用。

key

显示查询语句实际使用的索引。若为null，则表示没有使用索引。

key_len

显示索引中使用的字节数，可通过key_len计算查询中使用的索引长度。在不损失精确性的情况下索引长度越短越好。key_len 显示的值为索引字段的最可能长度，并非实际使用长度，即key_len是根据表定义计算而得，并不是通过表内检索出的。

ref

显示索引的哪一列或常量被用于查找索引列上的值。

rows

根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数，值越大越不好。

filtered

一个百分比的值，和rows 列的值一起使用，可以估计出查询执行计划(QEP)中的前一个表的结果集，从而确定join操作的循环次数。小表驱动大表，减轻连接的次数。

通过explain的参数介绍，我们可以得知:
1 表的读取顺序(id)
 2 数据读取操作的操作类型(type)
 3 哪些索引被实际使用(key)
 4 表之间的引用(ref)
 5 每张表有多少行被优化器查询(rows)

extra

Using filesort： 说明MySQL会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序” 。出现这个就要立刻优化sql。
Using temporary： 使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序 order by 和 分组查询 group by。 出现这个更要立刻优化sql。
Using index： 表示相应的select 操作中使用了覆盖索引（Covering index），避免访问了表的数据行，效果不错！如果同时出现Using where，表明索引被用来执行索引键值的查找。如果没有同时出现Using where，表示索引用来读取数据而非执行查找动作。
 覆盖索引（Covering Index） ：也叫索引覆盖，就是select 的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select 列表中的字段，而不必根据索引再次读取数据文件。
Using index condition： 在5.6版本后加入的新特性，优化器会在索引存在的情况下，通过符合RANGE范围的条数 和 总数的比例来选择是使用索引还是进行全表遍历。
Using where： 表明使用了where 过滤
Using join buffer： 表明使用了连接缓存
impossible where： where 语句的值总是false，不可用，不能用来获取任何元素
distinct： 优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作。