目录
5. log-queries-not-using-indexes
一、概念
MySQL的慢查询,全名是慢查询日志,是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阀值的语句。
具体环境中,运行时间超过long_query_time值的SQL语句,则会被记录到慢查询日志中。
long_query_time的默认值为10,意思是记录运行10秒以上的语句。
默认情况下,MySQL数据库并不启动慢查询日志,需要手动来设置这个参数。
当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。
慢查询日志支持将日志记录写入文件和数据库表。
官方文档,关于慢查询的日志部分介绍如下
具体参考官方文档:
MySQL :: MySQL 5.7 Reference Manual :: 5.4.5 The Slow Query Log
二、参数
MySQL 慢查询的相关参数解释:
slow_query_log:是否开启慢查询日志,1表示开启,0表示关闭。
log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
long_query_time:慢查询阈值,当查询时间多于设定的阈值时,记录日志。
log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
log_output:日志存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库。
三、配置
1. slow_query_log
默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示:
mysql> show variables like '%slow_query_log%';
+---------------------+-----------------------------------------------+
| Variable_name | Value |
+---------------------+-----------------------------------------------+
| slow_query_log | OFF |
| slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
+---------------------+-----------------------------------------------+
2 rows in set (0.00 sec)
mysql> set global slow_query_log=1;
Query OK, 0 rows affected (0.09 sec)
使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。
如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)。
my.cnf要增加或修改参数slow_query_log 和slow_query_log_file,如下所示:
slow_query_log = 1
slow_query_log_file = /tmp/mysql_slow.log
然后重启MySQL服务器。
2. slow_query_log_file
这个参数用于指定慢查询日志的存放路径,缺省情况是host_name-slow.log文件
mysql> show variables like 'slow_query_log_file';
+---------------------+-----------------------------------------------+
| Variable_name | Value |
+---------------------+-----------------------------------------------+
| slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
+---------------------+-----------------------------------------------+
1 row in set (0.00 sec)
3. long_query_time
开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?
这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。
关于运行时间正好等于long_query_time的情况,并不会被记录下来。
也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。
从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。
如果记录到表里面,只会记录整数部分,不会记录微秒部分。
mysql> show variables like 'long_query_time%';
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
mysql> set global long_query_time=4;
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)
如上所示,修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?
注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。
用show variables like 'long_query_time'查看是当前会话的变量值。
也可以不用重新连接会话,而是用show global variables like 'long_query_time'。
4. log_output
log_output参数指定日志的存储方式。
log_output='FILE'表示将日志存入文件,默认值也是'FILE'。
log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。
同时也支持两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。
日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源。
因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。
mysql> show variables like '%log_output%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output | FILE |
+---------------+-------+
1 row in set (0.00 sec)
mysql> set global log_output='TABLE';
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like '%log_output%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output | TABLE |
+---------------+-------+
1 row in set (0.00 sec)
mysql> select sleep(5) ;
+----------+
| sleep(5) |
+----------+
| 0 |
+----------+
1 row in set (5.00 sec)
mysql>
mysql> select * from mysql.slow_log;
+---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
| start_time | user_host | query_time | lock_time | rows_sent | rows_examined | db | last_insert_id | insert_id | server_id | sql_text | thread_id |
+---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
| 2016-06-16 17:37:53 | root[root] @ localhost [] | 00:00:03 | 00:00:00 | 1 | 0 | | 0 | 0 | 1 | select sleep(3) | 5 |
| 2016-06-16 21:45:23 | root[root] @ localhost [] | 00:00:05 | 00:00:00 | 1 | 0 | | 0 | 0 | 1 | select sleep(5) | 2 |
+---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
2 rows in set (0.00 sec)
5. log-queries-not-using-indexes
该系统变量指定未使用索引的查询也被记录到慢查询日志中(可选项)。
如果调优的话,建议开启这个选项。
另外,开启了这个参数,其实使用full index scan的SQL也会被记录到慢查询日志。
mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF |
+-------------------------------+-------+
1 row in set (0.00 sec)
mysql> set global log_queries_not_using_indexes=1;
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | ON |
+-------------------------------+-------+
1 row in set (0.00 sec)
6. log_slow_admin_statements
这个系统变量表示,是否将慢管理语句例如ANALYZE TABLE和ALTER TABLE等记入慢查询日志。
mysql> show variables like 'log_slow_admin_statements';
+---------------------------+-------+
| Variable_name | Value |
+---------------------------+-------+
| log_slow_admin_statements | OFF |
+---------------------------+-------+
1 row in set (0.00 sec)
7. Slow_queries
如果你想查询有多少条慢查询记录,可以使用Slow_queries系统变量。
mysql> show global status like '%Slow_queries%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Slow_queries | 2104 |
+---------------+-------+
1 row in set (0.00 sec)
另外,还有log_slow_slave_statements 和 --log-short-format 参数,可到MySQL网站了解。
四、mysqldumpslow工具
mysqldumpslow:这是用来分析和汇总 MySQL 慢查询日志的命令行工具。
查看mysqldumpslow的帮助信息:
[root@DB-Server ~]# mysqldumpslow --help
Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
Parse and summarize the MySQL slow query log. Options are
--verbose verbose
--debug debug
--help write this text to standard output
-v verbose
-d debug
-s ORDER what to sort by (al, at, ar, c, l, r, t), 'at' is default(排序方式)
al: average lock time(平均锁定时间)
ar: average rows sent(平均返回记录数)
at: average query time(平均查询时间)
c: count(访问计数)
l: lock time(锁定时间)
r: rows sent(返回记录)
t: query time(查询时间)
-r reverse the sort order (largest last instead of first)
-t NUM just show the top n queries(返回前面n条数据)
-a don't abstract all numbers to N and strings to 'S'
-n NUM abstract numbers with at least n digits within names
-g PATTERN grep: only consider stmts that include this string(正则匹配模式,大小写不敏感)
-h HOSTNAME hostname of db server for *-slow.log filename (can be wildcard),
default is '*', i.e. match all
-i NAME name of server instance (if using mysql.server startup script)
-l don't subtract lock time from total time
常用选项和参数解释:
--verbose or -v: 输出详细的信息。
--debug or -d: 输出调试信息。
--help: 显示帮助信息。
-s ORDER: 指定按照哪个指标排序查询结果,可选的排序方式包括:
al: 平均锁定时间(average lock time)
ar: 平均返回记录数(average rows sent)
at: 平均查询时间(average query time),默认排序方式
c: 访问计数(count)
l: 锁定时间(lock time)
r: 返回记录数(rows sent)
t: 查询时间(query time)
-r: 反转排序顺序,从最小的到最大的顺序显示。
-t NUM: 仅显示前 NUM 条查询结果。
-g PATTERN: 只考虑包含指定字符串 PATTERN 的查询语句,可以使用正则表达式进行匹配,大小写不敏感。
-h HOSTNAME: 指定数据库服务器的主机名,用于匹配 *-slow.log 文件名的通配符,默认是 *,即匹配所有。
-i NAME: 指定服务器实例的名称,如果使用了 mysql.server 启动脚本。
-a: 不将所有数字抽象为 N,字符串抽象为 S。
-n NUM: 在名称中抽象出至少 NUM 位数字。
-l: 不从总时间中减去锁定时间。
比如,得到返回记录集最多的10个SQL
mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log
参数解释:
-s r:按照查询出现次数排序(r 代表 "count")。这意味着查询出现次数最多的会排在前面。
-t 10:限制输出结果为前 10 条查询。这样可以快速查看执行次数最多的前 10 条查询。
/database/mysql/mysql06_slow.log:指定要分析的 MySQL 慢查询日志文件路径。请将这部分替换为实际的 MySQL 慢查询日志文件路径(在这的情况下是 mysql06_slow.log)。
得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log
参数解释:
-s c: 按照查询的执行次数排序 (c 代表 "count")。这意味着查询执行次数最多的会排在前面。
-t 10: 限制输出结果为前 10 条查询。这样可以快速查看执行次数最多的前 10 条查询。
/database/mysql/mysql06_slow.log: 指定要分析的 MySQL 慢查询日志文件路径。
得到按照时间排序的前10条里面含有左连接的查询SQL
mysqldumpslow -s t -t 10 -g "left join" /database/mysql/mysql06_slow.log
参数解释:
-s t: 按照查询时间(即查询执行时间)排序。这里的 t 表示按时间排序。
-t 10: 显示排名前 10 的查询结果。这里的 10 指定显示前 10 条。
-g “left join”: 只匹配包含 "left join" 的查询语句。这里 -g 参数后面的内容是一个正则表达式,用双引号括起来。
/database/mysql/mysql06_slow.log: 指定要分析的慢查询日志文件路径。
另外建议在使用这些命令时结合 | 和more 使用 ,否则有可能出现刷屏的情况
mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more
参数解释:
-s r: 按照查询的执行次数排序 (r 代表 "count")。这意味着查询执行次数最多的会排在前面。
-t 20: 限制输出结果为前 20 条查询。这样可以快速查看执行次数最多的前 20 条查询。
/mysqldata/mysql/mysql06-slow.log: 指定要分析的 MySQL 慢查询日志文件路径。
管道符 | 和 more:
|: 管道符用于将 mysqldumpslow 命令的输出结果传递给下一个命令,这里是 more。
more: 是一个命令行工具,用于逐页显示输出结果。当输出结果超过当前终端屏幕的一页时,可以使用 more 指令逐页查看输出。