【mysql】sql优化
mysql慢查询日志
开启与查看
MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10。
默认情况下，MySQL数据库并不启动慢查询日志，需要手动来设置这个参数。
当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。
- 查看慢查询日志是否开启
show variables like 'slow_query%';
- 查看慢查询默认时间配置
show variables like 'long_query_time';
- 临时配置慢查询开启：
-- 开启慢查询日志记录
set global slow_query_log='ON';
-- 指定慢查询记录文件
set global slow_query_log_file='/var/lib/mysql/instance-1-slow.log';
-- 设置慢查询时间配置
set global long_query_time=2;
- 永久配置开启慢查询，需要重启mysql：
修改mysql配置文件：/etc/mysql/conf.d/mysql.cnf
[mysqld]
slow_query_log = ON
slow_query_log_file = /var/lib/mysql/instance-1-slow.log
long_query_time = 2
- 开启后测试
-- 模拟慢查询，看日志是否开启成功
select sleep(20);
cat /var/lib/mysql/aedfd46af626-slow.log
日志分析
- mysqldumpslow
MySQL提供了日志分析工具mysqldumpslow。
mysqldumpslow --help
- 说明
al: average lock time（平均锁定时间）
ar: average rows sent（平均返回记录数）
at: average query time（平均查询时间）
c: count（访问计数）
c: count（访问计数）
l: lock time（锁定时间）
r: rows sent（返回记录）
t: query time（查询时间）
just show the top n queries（返回前面n条数据）
- 用例
# 到返回记录集最多的10个SQL
mysqldumpslow -s r -t 10 /database/mysql/aedfd46af626-slow.log
# 得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /database/mysql/aedfd46af626-slow.log
# 得到按照时间排序的前10条里面含有左连接的查询语句。
mysqldumpslow -s t -t 10 -g “left join” /database/mysql/aedfd46af626-slow.log
# 另外建议在使用这些命令时结合 | 和 more使用 ，否则有可能出现刷屏的情况。
mysqldumpslow -s r -t 20 /mysqldata/mysql/aedfd46af626-slow.log | more
sql explain
通过慢查询日志排查出慢sql之后，就可以通过sql explain来检查sql，包括索引命中情况等。
explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。
- explain解析
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 选择标识符 | 表示查询的类型 | 输出结果集的表 | 匹配的分区 | 表示表的连接类型 | 表示查询时，可能使用的索引 | 表示实际使用的索引 | 索引字段的长度 | 列与索引的比较 | 扫描出的行数(估算的行数) | 按表条件过滤的行百分比 | 执行情况的描述和说明 |
- id
SELECT识别符。这是SELECT的查询序列号
- id相同时，执行顺序由上至下
- 如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
- id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行
- select_type
示查询中每个select子句的类型
- SIMPLE：简单SELECT，不使用UNION或子查询等；
- PRIMARY：子查询中最外层查询，查询中若包含任何复杂的子部分，最外层的select被标记为PRIMARY；
- UNION：UNION中的第二个或后面的SELECT语句；
- DEPENDENT UNION：UNION中的第二个或后面的SELECT语句，取决于外面的查询；
- UNION RESULT：UNION的结果，union语句中第二个select开始后面所有select；
- SUBQUERY：子查询中的第一个SELECT，结果不依赖于外部查询；
- DEPENDENT SUBQUERY：子查询中的第一个SELECT，依赖于外部查询；
- DERIVED：派生表的SELECT, FROM子句的子查询；
- UNCACHEABLE SUBQUERY：一个子查询的结果不能被缓存，必须重新评估外链接的第一行。
- table
显示这一步所访问数据库中表名称（显示这一行的数据是关于哪张表的），有时不是真实的表名字，可能是简称，例如上面的e，d，也可能是第几步执行的结果的简称
- type
对表访问方式，表示MySQL在表中找到所需行的方式，又称“访问类型”。
常用的类型有： ALL、index、range、 ref、eq_ref、const、system、NULL（从左到右，性能从差到好）
- ALL：Full Table Scan， MySQL将遍历全表以找到匹配的行
- index: Full Index Scan，index与ALL区别为index类型只遍历索引树
- range:只检索给定范围的行，使用一个索引来选择行
- ref: 表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值
- eq_ref: 类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，就是多表连接中使用primary key或者 unique key作为关联条件
- const、system: 当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。如将主键置于where列表中，MySQL就能将该查询转换为一个常量，system是const类型的特例，当查询的表只有一行的情况下，使用system
- NULL: MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，例如从一个索引列里选取最小值可以通过单独索引查找完成。
- possible_keys
指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用（该查询可以利用的索引，如果没有任何索引显示 null）
该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。
如果该列是NULL，则没有相关的索引。在这种情况下，可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样，创造一个适当的索引并且再次用EXPLAIN检查查询。
- Key
key列显示MySQL实际决定使用的键（索引），必然包含在possible_keys中。
如果没有选择索引，键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引，在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。
- key_len
表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的）。
不损失精确性的情况下，长度越短越好。
- ref
列与索引的比较，表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值
- rows
估算出结果集行数，表示MySQL根据表统计信息及索引选用情况，估算的找到所需的记录所需要读取的行数
- Extra
该列包含MySQL解决查询的详细信息,有以下几种情况：
Using where:不用读取表中所有信息，仅通过索引就可以获取所需数据，这发生在对表的全部的请求列都是同一个索引的部分的时候，表示mysql服务器将在存储引擎检索行后再进行过滤
Using temporary：表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询，常见 group by ; order by
Using filesort：当Query中包含 order by 操作，而且无法利用索引完成的排序操作称为“文件排序”
Using join buffer：改值强调了在获取连接条件时没有使用索引，并且需要连接缓冲区来存储中间结果。如果出现了这个值，那应该注意，根据查询的具体情况可能需要添加索引来改进能。
Impossible where：这个值强调了where语句会导致没有符合条件的行（通过收集统计信息不可能存在结果）。
Select tables optimized away：这个值意味着仅通过使用索引，优化器可能仅从聚合函数结果中返回一行
No tables used：Query语句中使用from dual 或不含任何from子句
- 注意
- EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
- EXPLAIN不考虑各种Cache
- EXPLAIN不能显示MySQL在执行查询时所作的优化工作
- 部分统计信息是估算的，并非精确值
- EXPALIN只能解释SELECT操作，其他操作要重写为SELECT后查看执行计划。
建立索引
索引建立原则
- 经常用作查询条件where的字段，需要建立索引；
- 经常用作表连接join on的字段，需要建立索引；
- 经常用作分组group by、排序order by的字段，需要建立索引；
- 如果必然需要or条件，那所有or字段都需要建立索引，否则全表扫描（联合索引只会命中第一个字段，当使用联合索引中的其他字段作为条件进行or连接时，依然会出现全表扫描）；
- 回表：mysql innodb的主键索引是簇集索引，也就是索引的叶子节点存的是整个单条记录的所有字段值，不是主键索引的就是非簇集索引，非簇集索引的叶子节点存的是主键字段的值。回表就是当查询条件为非主键索引且查询字段不包括在索引中，需要先根据索引查询一次数据，再通过主键索引获取其他查询字段，即执行一条sql语句，需要从两个b+索引中去取数据。
- 回表优化：1. 索引覆盖，就是查这个索引能查到你所需要的所有数据，可以通过建立联合索引来优化查询字段，避免回表；2.不是必须的字段就不要出现在SELECT里面。
- 前缀索引：即以字段的前x位建立索引。针对某些长varchar字段，在必须要建立索引的情况下，可以先考虑前缀索引能否满足业务。如果前缀索引不能满足业务，再考虑全文索引和添加业务中间件如es搜索引擎等。
395
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
