MySQL索引优化、SQL优化-持续更新

背景

索引是成本最低的优化手段，面试常问的面试题。
下面主要是讲InnoDB存储引擎的索引，InnoDB也是实际项目用的最多的存储引擎。

优势

提高数据查询效率。

缺点

占用空间、降低了增、删、改速度，因为要维护索引

原理

底层是B+树数据结构。

为什么采用树？

树形结构相对于线性结构可以提高查询效率。看下图：
线性表搜索数据只能遍历，搜索时间复杂度O(n)。平衡二叉树的搜索时间复杂度为O(logn)，等于树高。当n越大的时候，效率差距越大。

为什么不用Hash查询，时间复制度为O(1)?

因为不止有精确查询，还有范围查询，模糊查询。

为什么采用B+树？

下面看一下二叉树、平衡二叉树、B树、B+树的比较：

• 二叉树
  效率最差的时候会退化成列表。
• 平衡二叉树
  左右子树高度差不超过1，相同层级能存储更多数据。
• B树
  多叉平衡树，因为二叉树每个节点只能有两个子节点，所以当数据量大的时候，层级太深，搜索效率变低。B树每个节点可以有多个子节点，相同数据，层级更少，效率更高。（为什么层级越少效率越高？层级越低每层数据越多一次IO读取出来的数据越多，可以减少IO次数）
• B+树
  相比于B树来说，非叶子节点不存储数据，这样的好处是非叶子节点能存储更多的索引，可以进一步缩小层级，减少IO次数，提高效率。
  所有的查询都要查找到叶子节点，查询性能更稳定。
  所有的叶子节点形成一个有序列表，便于范围查询。
  
  
  
  

具体优化措施

需要建立索引的场景

• 主键自动建立唯一索引
• 频繁作为查询条件的字段应该创建索引(where后面的语句)
• 查询中与其它表关联的字段，外键关系建立索引
• 多字段查询下倾向创建组合索引
• 查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
• 查询中统计或者分组字段

不推荐建立索引的场景

• 表记录太少
• 经常增删改的表
• where条件里用不到的字段
• 字段值差异性太小的，比如性别

索引分类

• 主键索引
• 唯一索引
• 单值索引
• 复合索引

性能分析

SQL中对大量数据进行比较，关联，排序，分组时CPU的瓶颈。
​ 实例内存满足不了缓存数据或排序等需要,导致产生大量的物理IO。查询数据时扫描过多数据，导致查询效率低。

MySQL优化措施

• SQL优化
  • 少用select *
  • 少用count(*)
  • 多用limit
  • 连接查询替换子查询，子查询会创建临时表
  • 少用范围查询
  • 模糊查询少用左匹配和全匹配，因为索引会实现，可以建立前缀索引
  • join、where、order by、group by 对应字段少用函数，建索引
  • 查询尽量利用索引
  • 使用explain优化语句
  • 少使用!=、not in、not null，会导致索引失效
  • 连接查询尽量小表连大表
  • 合理选择in和exists
  • 避免回表
• 索引优化
  • 唯一索引可以从数据库层面限制唯一性
  • 普通索引能加快检索速度
  • 联合索引某些情况可以替代单个索引，节省空间
  • 一个表不要建太多索引，会占用空间
• 配置优化（最大连接数、缓冲区大小）
• 表结构优化
  • 选择合适的数据类型
  • 合理的进行拆分（一些附属信息可以单独查出来，比如文章内容字段可以单独一个表）
• 硬件优化
  • 花钱提升配置（cpu、内存、磁盘、网络）
• 架构优化
  • 部署模式（单机、主从、集群）
  • 读写分离、冷热分离、分库分表
• 其他措施
  • 利用其他中间件缓解MySQL压力，比如Redis、MQ、ES、MongoDB

Explain

• 字段说明
  字段重要优先级 type>Extra

字段名	中文描述	字段说明
id	选择标识符	SELECT识别符。这是SELECT的查询序列号 我的理解是SQL执行的顺序的标识，SQL从大到小的执行 1. id相同时，执行顺序由上至下 2. 如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行 3. id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行
select_type	查询的类型	(1) SIMPLE(简单SELECT，不使用UNION或子查询等) (2) PRIMARY(子查询中最外层查询，查询中若包含任何复杂的子部分，最外层的select被标记为PRIMARY) (3) UNION(UNION中的第二个或后面的SELECT语句) (4) DEPENDENT UNION(UNION中的第二个或后面的SELECT语句，取决于外面的查询) (5) UNION RESULT(UNION的结果，union语句中第二个select开始后面所有select) (6) SUBQUERY(子查询中的第一个SELECT，结果不依赖于外部查询) (7) DEPENDENT SUBQUERY(子查询中的第一个SELECT，依赖于外部查询) (8) DERIVED(派生表的SELECT, FROM子句的子查询) (9) UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存，必须重新评估外链接的第一行)
table	输出结果集的表	显示这一步所访问数据库中表名称（显示这一行的数据是关于哪张表的），有时不是真实的表名字，可能是简称，例如上面的e，d，也可能是第几步执行的结果的简称
partitions	匹配的分区
type	表示表的连接类型	对表访问方式，表示MySQL在表中找到所需行的方式，又称“访问类型”。 常用的类型有： ALL、index、range、 ref、eq_ref、const、system、NULL（从左到右，性能从差到好） ALL：Full Table Scan， MySQL将遍历全表以找到匹配的行 index: Full Index Scan，index与ALL区别为index类型只遍历索引树 range:只检索给定范围的行，使用一个索引来选择行 ref: 表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值 eq_ref: 类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，就是多表连接中使用primary key或者 unique key作为关联条件 const、system: 当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。如将主键置于where列表中，MySQL就能将该查询转换为一个常量，system是const类型的特例，当查询的表只有一行的情况下，使用system NULL: MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，例如从一个索引列里选取最小值可以通过单独索引查找完成。
possible_keys	表示查询时，可能使用的索引	指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用（该查询可以利用的索引，如果没有任何索引显示 null） 该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。 如果该列是NULL，则没有相关的索引。在这种情况下，可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样，创造一个适当的索引并且再次用EXPLAIN检查查询
key	表示实际使用的索引	key列显示MySQL实际决定使用的键（索引），必然包含在possible_keys中 如果没有选择索引，键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引，在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。
key_len	索引字段的长度	表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的） 不损失精确性的情况下，长度越短越好
ref	列与索引的比较	列与索引的比较，表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值
rows	扫描出的行数(估算的行数)	估算出结果集行数，表示MySQL根据表统计信息及索引选用情况，估算的找到所需的记录所需要读取的行数
filtered	按表条件过滤的行百分比
extra	执行情况的描述和说明	该列包含MySQL解决查询的详细信息,有以下几种情况： Using where:不用读取表中所有信息，仅通过索引就可以获取所需数据，这发生在对表的全部的请求列都是同一个索引的部分的时候，表示mysql服务器将在存储引擎检索行后再进行过滤 Using temporary：表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询，常见 group by ; order by Using filesort：当Query中包含 order by 操作，而且无法利用索引完成的排序操作称为“文件排序” Using join buffer：改值强调了在获取连接条件时没有使用索引，并且需要连接缓冲区来存储中间结果。如果出现了这个值，那应该注意，根据查询的具体情况可能需要添加索引来改进能。 Impossible where：这个值强调了where语句会导致没有符合条件的行（通过收集统计信息不可能存在结果）。 Select tables optimized away：这个值意味着仅通过使用索引，优化器可能仅从聚合函数结果中返回一行 No tables used：Query语句中使用from dual 或不含任何from子句

• EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
• EXPLAIN不考虑各种Cache
• EXPLAIN不能显示MySQL在执行查询时所作的优化工作
• 部分统计信息是估算的，并非精确值
• EXPALIN只能解释SELECT操作，其他操作要重写为SELECT后查看执行计划。

sql优化的绝招。
​ 使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MYSQL是如何处理SQL语句的,可以用来分析查询语句或是表的结构的性能瓶颈。
其作用:
表的读取顺序
哪些索引能够使用
数据读取操作的操作类型
那些索引被实际使用
表之间的引用
每张表有多少行被优化器查询

最左匹配原则

顾名思义：最左优先，以最左边的为起点任何连续的索引都能匹配上。同时遇到范围查询(>、<、between、like)就会停止匹配。
例如：b = 2 如果建立(a,b)顺序的索引，是匹配不到(a,b)索引的；但是如果查询条件是a = 1 and b = 2或者a=1(又或者是b = 2 and b = 1)就可以，因为优化器会自动调整a,b的顺序。再比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引，d是用不到索引的，因为c字段是一个范围查询，它之后的字段会停止匹配。

为什么有这个原则？
最左匹配原则都是针对联合索引来说的，所以我们有必要了解一下联合索引的原理。了解了联合索引，那么为什么会有最左匹配原则这种说法也就理解了。

我们都知道索引的底层是一颗B+树，那么联合索引当然还是一颗B+树，只不过联合索引的健值数量不是一个，而是多个。构建一颗B+树只能根据一个值来构建，因此数据库依据联合索引最左的字段来构建B+树。
例子：假如创建一个（a,b)的联合索引，那么它的索引树是这样的

可以看到a的值是有顺序的，1，1，2，2，3，3，而b的值是没有顺序的1，2，1，4，1，2。所以b = 2这种查询条件没有办法利用索引，因为联合索引首先是按a排序的，b是无序的。

同时我们还可以发现在a值相等的情况下，b值又是按顺序排列的，但是这种顺序是相对的。所以最左匹配原则遇上范围查询就会停止，剩下的字段都无法使用索引。例如a = 1 and b = 2 a,b字段都可以使用索引，因为在a值确定的情况下b是相对有序的，而a>1and b=2，a字段可以匹配上索引，但b值不可以，因为a的值是一个范围，在这个范围中b是无序的。

避免回表

回表是通过非主键索引查询到了主键，但是还要返回索引上面没有的属性，所以需要回到主键索引找到具体的数据行。因为非主键索引叶子节点只存储主键索引值，不存储具体数据