哪些SQL执行比较频繁

最新推荐文章于 2023-03-09 16:45:41 发布

jerry-89

最新推荐文章于 2023-03-09 16:45:41 发布

阅读量1.3k

点赞数

分类专栏： SQL优化

本文链接：https://blog.csdn.net/eagle89/article/details/105730372

版权

SQL优化专栏收录该内容

23 篇文章 6 订阅

订阅专栏

研发经常会问到能看到哪些SQL执行比较频繁吗？

熟悉mysql的朋友应该都知道,error日志只记录数据库层的报错,binlog只记录增/删/改的记录,但是没记录谁执行,只记录执行用户名,slowlog虽然详细,但是只记录超过设定值的慢查询sql信息.

只有general-log才是记录所有的操作日志,不过他会耗费数据库5%-10%的性能,所以一般没什么特别需要,大多数情况是不开的,例如一些sql审计和不知名的排错等,那就是打开来使用了.

只能看到当前正在运行的SQL和慢日志里记录的SQL。因为为了性能考虑，一般general log不会开启。slow log可以定位一些有性能问题的sql，而general log会记录所有的SQL。然而有时候生产上的mysql出现性能问题，短时间开启general log，来获取sql执行的情况，对排查和分析mysql的性能问题，还是有很大的帮助的。或者是有时候，不清楚程序执行了什么sql语句，但是又要排除错误，找不到原因的情况下，也是可以短暂的开启这个general log日志的。

mysql5.0版本，如果要开启slow log、general log，需要重启，从MySQL5.1.6版开始，general query log和slow query log开始支持写到文件或者数据库表两种方式，并且日志的开启，输出方式的修改，都可以在Global级别动态修改。

一、开启general log有很多的方式。
下面简单介绍和演示下：
方法一：更改my.cnf配置文件

[root@git-server ~]# grep general_log /etc/my.cnf
general_log = 1
general_log_file = /tmp/general.log

重新启动mysql，这个操作相当于是永久生效。当然这种方式是不允许在生产上采用的。因为要重启mysql，会中断mysql的业务。同时general.log会记录所有的关于mysql的DDL和DML语句，非常消耗资源，一般都是在协助排除mysql故障时，临时短暂的开启几分钟。事后都要关闭的。

方法二：在mysql命令控制台操作
需要root用户才有访问此文件的权限
默认这个日志是被关闭掉的。

mysql> show global variables like '%general%';
+------------------+---------------------------------+
| Variable_name    | Value                           |
+------------------+---------------------------------+
| general_log      | OFF                             |
| general_log_file | /data/mysql/data/git-server.log |
+------------------+---------------------------------+
2 rows in set (0.00 sec)

mysql>

有时需要临时开启MySQL的全局general_log，可以登录mysql直接设置日志的路径并开启general_log

mysql> set global general_log_file='/tmp/general_log';
Query OK, 0 rows affected (0.00 sec)

mysql> set global general_log=on;
Query OK, 0 rows affected (0.02 sec)

mysql> show global variables like '%general%';
+------------------+------------------+
| Variable_name    | Value            |
+------------------+------------------+
| general_log      | ON               |
| general_log_file | /tmp/general_log |
+------------------+------------------+
2 rows in set (0.00 sec)

mysql> 

[root@git-server ~]# tailf /tmp/general_log
180717 22:55:51     2 Query show databases
180717 22:56:04     2 Query SELECT DATABASE()
            2 Init DB   test
180717 22:56:14     2 Query select * from student3

在使用完后可以直接set global general_log=off;关闭这个日志

方法三：将日志保存在mysql数据库general_log表中

mysql> set global log_output='table';
mysql> set global general_log=on;
mysql> use mysql;
mysql> select * from test.student3;
+----+--------------+------------+--------+------+
| id | teacher_name | teacher_id | name   | sex  |
+----+--------------+------------+--------+------+
|  1 | 花花         |          1 | 三安   | 女   |
|  4 | 散散         |          2 | 三安   | 女   |
|  6 | bibi         |          3 | 三安   | 女   |
+----+--------------+------------+--------+------+
3 rows in set (0.00 sec)

mysql> select * from general_log;
| 2018-07-17 23:00:12 | root[root] @ localhost [] |         2 | 1132333306 | Query        | select * from test.student3

查看/tmp/general.log的信息，可以大致看到哪些sql查询/更新/删除/插入比较频繁了。比如有些表不是经常变化的，查询量又很大，就完全可以cache；对主备延迟要求不高的表，读可以放到备库；等等

二、vc-mysql-sniffer统计MySQL的SQL分布

有时候我们需要统计线上的SQL执行情况，比如想知道哪条SQL执行最频繁，我们可以开启general_log，然后进行统计，但是general_log开启非常损耗性能，那么我们可以使用vc-mysql-sniffer来代替，该工具是编译好的二进制，下载即可使用。下载地址：

https://www.vividcortex.com/resources/network-analyzer-for-mysql

我这里修改了网上的一个脚本，分析vc-mysql-sniffer抓取到的结果统计频繁执行的SQL。

analysis-general-log.py
#!/usr/bin/python
#coding:utf8
# python analysis-vc-log.py 3315 | sort | uniq -c | sort -nr |head -n 10
import re
import sys
import os
import commands
vc_sniffer_time=5
port=sys.argv[1]
vc_cmd=""" /usr/bin/timeout %s  /data/software/vc-mysql-sniffer -binding="[::]:%s"  > /tmp/tmp_vc_mysql_%s.txt """ % (vc_sniffer_time,port,port)
outtext = commands.getoutput(vc_cmd)
cmd=""" grep -Ev '# Time:|# User@Host' /tmp/tmp_vc_mysql_%s.txt |sed 's/# Query_time.*/myxxxxx/g' |awk BEGIN{RS=EOF}'{gsub(/\\n/," ");print}'|awk BEGIN{RS=EOF}'{gsub(/myxxxxx/,"\\n");print}' >/tmp/vc_mysql_%s.txt""" % (port,port)
outtext = commands.getoutput(cmd)
file="/tmp/vc_mysql_%s.txt" % (port)
logFo = open(file)
for line in logFo:
    line = re.sub(r"\n","",line)
    lineMatch = re.match(r".*",line)
    if lineMatch:
        lineTmp = lineMatch.group(0)
        lineTmp = lineTmp.lower()
        # remove extra space
        lineTmp = re.sub(r"\s+", " ",lineTmp)
        # replace values (value) to values (x)
        lineTmp = re.sub(r"values\s*\(.*?\)", "values (x)",lineTmp)
        # replace filed = 'value' to filed = 'x'
        lineTmp = re.sub(r"(=|>|<|>=|<=)\s*('|\").*?\2","\\1 'x'",lineTmp)
        # replace filed = value to filed = x
        lineTmp = re.sub(r"(=|>|<|>=|<=)\s*[0-9]+","\\1 x",lineTmp)
        # replace like 'value' to like 'x'
        lineTmp = re.sub(r"like\s+('|\").*?\1","like 'x'",lineTmp)
        # replace in (value) to in (x)
        lineTmp = re.sub(r"in\s+\(.*?\)","in (x)",lineTmp)
        # replace between '...' and '...' to between 'x' and 'x'
        lineTmp = re.sub(r"between\s+('|\").*?\1\s+and\s+\1.*?\1","between 'x' and 'x' ",lineTmp)
        # replace between ... and ... to between x and x
        lineTmp = re.sub(r"between\s+[0-9]+\s+and\s+[0-9]+","between x and x ",lineTmp)
        # replace limit x,y to limit
        lineTmp = re.sub(r"limit.*","limit",lineTmp)
        print lineTmp
logFo.close()

python analysis-general-log.py 3306| sort | uniq -c | sort -nr |head -n 10

抓取mysql 3306端口，统计执行最频繁的10条SQL

analysis-general-log.py general.log | sort | uniq -c | sort -nr

参考资料：

https://www.centos.bz/2015/02/analysis-mysql-general-log/

jerry-89

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
哪些SQL执行比较频繁

研发经常会问到能看到哪些SQL执行比较频繁吗？熟悉mysql的朋友应该都知道,error日志只记录数据库层的报错,binlog只记录增/删/改的记录,但是没记录谁执行,只记录执行用户名,slowlog虽然详细,但是只记录超过设定值的慢查询sql信息.只有general-log才是记录所有的操作日志,不过他会耗费数据库5%-10%的性能,所以一般没什么特别需要,大多数情况是不开的,...
复制链接

扫一扫

专栏目录