SQL优化基本理论

简述：首先MYSQL是自带优化器（Mysql　Query　Optimizer）的，而且优化器的总体性能还不错，当然，这是对像我这种菜鸡来说是还不错的，阿里人间就直接修改了SQL的底层优化器，自己建立了自己的一套SQL优化系统，关于Mysql的优化器，介绍如下：

1. Mysql有专门优化select模块的优化器模块，其会根据客户端请求的Query提供其认为最优的执行计划，但对于DB来说不一定是最优的；
2. 当client想Mysql请求一条Query，命令解析器模块完成命令分类，区别出是select并发送给MysqlQueryOptimizer，同时MysqlQueryOptimizer首先会对该命令进行优化，去除掉一些常量表达式的预算，直接换成一些常量值，并对Query里的查询语句进行简化和转换，如去除一些无用或者显而易见的条件，结构调整等。然后分析Query里的Hint信息（如果有），看显示Hint信息是否可以完全确定该Query的执行计划。如果没有Hint信息或仅根据Hint无法确定执行计划，则会读取所涉及对象的统计信息，根据Query进行写相应的计算分析，然后再得出最后的执行计划。

建立索引的场景

1. 主键自动建立唯一索引；
2. 频繁作为查询条件的字段应该建立索引；
3. 查询中与其他表关联的字段，外键关系建立索引；
4. 频繁更新的字段不适合建立索引，因为数据库在更新该字段是还得不断的更新索引表；
5. where条件里用不到的字段不要建立索引；
6. 单键/组合索引的选择问题？（高并发下倾向于创建组合索引）
7. 查询中排序的字段，若排序字段通过索引去访问将大大提升排序速度；
8. 查询中统计或者分组字段；

无需建立索引的场景

1. 表记录太少；（MYSQL的话一般300万条记录时就应该建立索引了，虽然它可能说支持800万条或者500万条什么的）
2. 经常增删改的表的字段不应该建立索引，虽然提高了查询的速度，但是同时降低了修改，更新表的速度，因为在更新时不仅要保存数据，还需要保存索引文件；
3. 如果某个数据键包含很多重复的内容，那么建立索引将没有太大的效果，一个索引的选择性越接近于1，其建立索引的效果越好；

SQL常见的性能瓶颈

1. CPU：CPU在饱和的时候一般发生在数据装入内存或者数据从磁盘上读取的时候；
2. IO：磁盘IO瓶颈发生在装入数据远大于内存容量的时候；
3. 服务器硬件的性能瓶颈：top, htop, sar top, nmon, free, iostat, vmstat, mpstat 来查看系统的性能状态。

性能分析之Explain解析和对应字段解释

Explain的作用

使用Explain关键字可以模拟优化器执行SQL查询语句，从而知道Mysql是如何处理你的SQL语句的，分析你的查询语句或是表结构的性能瓶颈。

使用方式

explain + 执行的SQL语句；

Explain解析SQL语句时表的执行顺序决定方式

id：select查询的序列号，一组数字，表示查询中执行select子句或操作表的顺序。
执行顺序决定如下：
	1. id相同，执行顺序由上至下；
	2. id不同执行顺序为id大的优先；
	3. 当id值既有相同值又有不同值时，id大的优先，遇到相同的时则是由上至下执行。		

数据读取操作的操作类型

select_type：
	分类：
		id                    select_type
		1						SIMPLE
		2						PRIMARY
		3						SUBQUERY
		4						DERIVED
		5						UNION
		6						UNION RESULT
		
	查询的类型主要用于区分普通查询，联合查询，子查询等的复杂查询。以下对上述六类查询进行解说：
	
	SIMPLE：简单的select查询，查询中不包含子查询或者UNION
	
	PRIMARY：查询中若包含任何子查询，最外层查询则被标记为PRIMARY
	
	SUBQUERY：在select或者where例表中包含了子查询
	
	DERIVED：在from列表中包含的子查询被标记为derived（衍生），Mysql会递归执行这些子查询，把结果放在临时表里
	
	UNION：若第二个select出现在union之后，则被标记为union，若union包含在from的子查询之中，外层select将被标记为derived
	
	UNION RESULT：从UNION表获取结果的select

type字段详解

type：type显示的是访问类型，是较为重要的一个指标，从最好到最差依次是：
	system > const > eq_ref > ref > range > index > ALL
	一般来说，得保证查询至少达到range级别，最好达到ref
system：一表一行。
const：表示通过索引一次就找到了，const用于比较primary_key或者unique索引，因为只匹配一行数据，所以很快，如将主键置于where表中，Mysql就能将查询转换为常量。
eq_ref：唯一索引扫描，对于每个索引，表中只有一条记录与之匹配，常见于主键或者唯一索引扫描。
ref：非唯一索引扫描，返回匹配某个单独值的所有行，本质上也是一种索引访问，因而它属于查找和扫描的混合体。
range：只检索给定范围的行，使用一个索引来选择行，比如位于between之间的条件。
index：index与all的区别是index只遍历索引树，故而虽然index和all都是读全表，但是index只是从索引文件里读取，而all则从硬盘中读取。
all：将遍历全表以找到匹配的行。

possible_key字段

显示可能应用在这张表中的索引，一个或多个。查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询实例使用。

key字段

实际使用的索引，如果为NULL值，则没有使用索引，查询中若使用了覆盖索引，则该索引仅出现在key列表中。

key_len字段

表示索引字段预分配的最大长度，不是实际长度，该值一般要求在符合实际情况的要求下越小越好，该值是通过表定义计算而得来的，不是通过表内检测出来的。

ref字段

显示索引的那一列被使用了，如果可能的话，可以是一个常数，那些列或常量备用于查找索引列上的值。

rows字段

根据表统计信息及索引选用情况，大致估算出找到所需的记录和所需要读取的行数。

extra字段

extra字段包含不适合在其他列中显示但是十分重要的额外信息，如下：
	using filesort：说明MySQL会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序叫做“文件排序”。（出现这个能优化就尽快优化了，九死一生了，哈哈哈，拖慢数据库）
	using temporary：使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表，常见于排序查询order by和分组查询group by。（出现这个，十死无生了，哈哈哈，特别特别拖慢数据库时间）
	using index：表示相应的select操作使用了覆盖索引（Covering Index），避免访问表的数据行，效率不错。如果同时出现using where，表明索引被用来执行索引键值的查找。如果没有同时出现using where，表明索引用来读取数据而非执行查找动作。(注意：如果要使用覆盖索引，特别要注意select列表中只写出需要的列，而不可以select *；因为如果将所有字段一起做索引会导致索引文件过大，查询性能下降。)
	using where：表明使用了where过滤
	using join buffer：表明使用了链接缓存
	impossible where：where子句的值总是false，不能用来获取任何元素
	select table optimized away：在没有group by子句的情况下，基于索引优化MIn/Max操作，或者对于MySAM存储引擎优化count（*）操作，不必等到执行阶段在进行计算，查询计算生成的阶段即完成优化。
	distinct：优化distinct操作，在找到第一匹配的元组操作之后即停止找同样值的动作。

索引的基本功能

索引是拿来干什么的呢？如下：
	1. 可以确定表的读取顺序（id字段来确定）
	2. 数据读取操作的操作类型（type字段）
	3. 那些索引可以使用（possible_key字段）
	4. 那些索引被实际使用（key字段）
	5. 表之间的引用（ref字段）
	6. 每张表有多少行被优化器查询（rows字段）