mysql体系结构
性能分析前提知识
MySQL Query Optimizer
Mysql中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)
当客户端向MySQL请求一条Query,命令解析器模块完成请求分类,区别出是SELECT并转发给MySQL Query Optimizer时,MySQL Query Optimizer首先会对整条Query进行优化,处理掉一些常量表达式的预算直接换算成常量值。并对Query中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析Query 中的 Hint信息(如果有),看显示Hint信息是否可以完全确定该Query的执行计划。如果没有Hint 或Hint信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据Query进行写相应的计算分析,然后再得出最后的执行计划。
MySQL常见瓶颈
CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候
IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
服务器硬件的性能瓶颈:top,free,iostat和vmstat来查看系统的性能状态
explain是什么
使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。
因此explain主要用来对sql进行性能分析的
explain能做什么
1、查看表的读取顺序(哪个表先被处理)
2、数据读取操作的操作类型(是全表扫描,还是index扫描,还是其它扫描)
3、哪些索引可以使用(possible key)
4、哪些索引被实际使用(key)
5、表之间的引用(ref)
6、每张表有多少行被优化器查询(row)
7、查看sql执行过程中使用了什么,出现什么问题 (extra)
explain 使用
explain + 查询sql语句
explain结果中的id
id主要表示表的执行顺序
三种情况:
1、id相同,执行顺序由上至下
2、id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
3、id既有相同又有不同,同时存在
id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行,衍生=DERIVED
因此上述表的执行顺序:t3 -> derived(衍生得到的表) -> t2
explain结果中的select_type和table
select_type:查询的类型,主要是用于区别普通查询、联合查询、子查询等的复杂查询。
select_type有哪些?
-
SIMPLE - 简单的select查询,查询中不包含子查询或者UNION。
-
PRIMARY - 查询中若包含任何复杂的子部分,最外层查询则被标记为。
-
SUBQUERY - 在SELECT或WHERE列表中包含了子查询。
-
DERIUED - 在FROM列表中包含的子查询被标记为DERIVED(衍生)MySQL会递归执行这些子查询,把结果放在临时表里。
-
UNION - 若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FROM子句的子查询中外层SELECT将被标记为:DERIVED。
-
UNION RESULT - 从UNION表获取结果的SELECT。
table:显示这一行的数据是关于哪张表的。
explain结果中的type
type显示的是访问类型,是较为重要的一个指标,结果值从最好到最坏依次是:
system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index >ALL
简单点的扫描类型
system>const>eq_ref>ref>range>index>ALL
一般来说,得保证查询至少达到range级别,最好能达到ref。
详细说明
system:表只有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计。
const:表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快如将主键置于where列表中,MySQL就能将该查询转换为一个常量。
eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描。
ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体。
range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询。这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束语另一点,不用扫描全部索引。
Index:Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小(也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)。
all:Full Table Scan,将遍历全表以找到匹配的行。
explain结果中的possible_keys和key
possible_keys
显示可能应用在这张表中的索引,一个或多个。查询涉及到的字段火若存在索引,则该索引将被列出,但不一定被查询实际使用。
key
实际使用的索引。如果为NULL,则没有使用索引
查询中若使用了覆盖索引,则该索引仅出现在key列表中
explain结果中的key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
explain结果中的ref
ref:引用参数类型
显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值。
explain结果中的rows
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数。
explain结果中的Extra
注意:extra十分重要
extra中可能出现的值:
Using filesort
使了用临时表保存中间结果,MysQL在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。
Using index
表示相应的select操作中使用了覆盖索引(Covering Index),避免访问了表的数据行(回表查询)
覆盖索引:我们要获取的列,直接通过索引,可以全部被select筛选出来,无需进行回表查询(多一次B+Tree扫描)。
简单来说:就是查询使用了索引
Using where
表明使用了where过滤。
Using join buffer
使用了连接缓存。
impossible where
where子句的值总是false,不能用来获取任何数据。
select tables optimized away
在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作,或者对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。
distinct
优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作。
explain使用案例
执行流程:
1、先执行t2表 (select name, id,from t2)(对t2进行的是全表扫描)(原因:未用到索引)
2、然后执行t1表(select id,name from t1 where other_column = ’ ')(对t1进行的是全表扫描)(原因:未用到索引)
3、然后执行t3表(select id from t3)(对t3进行index扫描)
4、然后执行derived衍生表 (select d1.name,d2 from d1)(system扫描)
5、最后对derived和t2表 进行合并