Mysql高级(周阳)笔记之查询截取分析(完整详细)

Gangbb

已于 2023-11-10 20:54:34 修改

阅读量580

点赞数

分类专栏：数据库 # mysql 文章标签：数据库 mysql

于 2021-01-28 15:16:13 首次发布

本文链接：https://blog.csdn.net/qq_37132495/article/details/113341213

版权

数据库同时被 2 个专栏收录

27 篇文章 1 订阅

订阅专栏

mysql

8 篇文章 0 订阅

订阅专栏

1. 慢查询日志

1.1 含义

MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阙值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。
具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。
由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合之前explain进行全面分析。

1.2 使用

默认情况下，MySQL数据库没有开启慢查询日志，需要我们手动来设置这个参数。
当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件

1.2.1 查看是否开启和开启

默认情况下slow_query_log的值为OFF，表示慢查询日志是禁用的，
可以通过设置slow_query_log的值来开启

SHOW VARIABLES LIKE '%slow_query_log%';

在这里插入图片描述

使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效，
如果MySQL重启后则会失效。

全局变量设置，对当前连接不影响

对当前连接立刻生效

如果要永久生效，就必须修改配置文件my.cnf（其它系统变量也是如此）

修改my.cnf文件，[mysqld]下增加或修改参数

slow_query_log 和slow_query_log_file后，然后重启MySQL服务器。也即将如下两行配置进my.cnf文件

slow_query_log =1

slow_query_log_file=/var/lib/mysql/atguigu-slow.log

关于慢查询的参数slow_query_log_file ，它指定慢查询日志文件的存放路径，系统默认会给一个缺省的文件host_name-slow.log（如果没有指定参数slow_query_log_file的话）

1.3 慢查询日志内容

什么样的SQL才会记录到慢查询日志里面呢？

这个是由参数long_query_time控制，默认情况下long_query_time的值为10秒

查看当前多少秒算慢
```
SHOW VARIABLES LIKE 'long_query_time%';
```

在这里插入图片描述

注：可以使用命令修改，也可以在my.cnf参数里面修改。

假如运行时间正好等于long_query_time的情况，并不会被记录下来。也就是说，

在mysql源码里是判断大于long_query_time，而非大于等于。

设置慢的阙值时间
```
set global long_query_time=1
```
表示修改为阙值到1秒钟的就是慢sql

修改后发现long_query_time并没有改变。
为什么设置后看不出变化？

需要重新连接或新开一个会话才能看到修改值。

或者通过set session long_query_time=1来改变当前session变量;

1.4 记录慢查询并后续分析

实验一条慢sql

跟踪日志信息

1.5 查询当前系统中有多少条慢查询记录

show global status like '%Slow_queries%';

1.6 慢查询日志配置版

【mysqld】下配置：

slow_query_log=1;

slow_query_log_file=/var/lib/mysql/atguigu-slow.log

long_query_time=3;

log_output=FILE

1.7 日志分析工具mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow。

查看mysqldumpslow的帮助信息
```
mysqldumpslow --help
```
s: 是表示按照何种方式排序；

c: 访问次数

l: 锁定时间

r: 返回记录

t: 查询行数

al:平均锁定时间

ar:平均返回记录数

at:平均查询时间

t:即为返回前面多少条的数据；

g:后边搭配一个正则匹配模式，大小写不敏感的；

得到返回记录集最多的10个SQL

mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log

得到访问次数最多的10个SQL

mysqldumpslow -s c -t 10 /var/lib/mysql/atguigu-slow.log

得到按照时间排序的前10条里面含有左连接的查询语句

mysqldumpslow -s t -t 10 -g "left join" /var/lib/mysql/atguigu-slow.log

另外建议在使用这些命令时结合 | 和more 使用，否则有可能出现爆屏情况
```
mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log | more
```

2. 批量插入数据脚本

2.1 建表sql

#1 建表dept
CREATE TABLE dept(  
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,   
dname VARCHAR(20) NOT NULL DEFAULT "",  
loc VARCHAR(13) NOT NULL DEFAULT ""  
) ENGINE=INNODB DEFAULT CHARSET=UTF8 ;  
 
#2 建表emp
CREATE TABLE emp  
(  
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,  
empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/  
ename VARCHAR(20) NOT NULL DEFAULT "", /*名字*/  
job VARCHAR(9) NOT NULL DEFAULT "",/*工作*/  
mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*上级编号*/  
hiredate DATE NOT NULL,/*入职时间*/  
sal DECIMAL(7,2) NOT NULL,/*薪水*/  
comm DECIMAL(7,2) NOT NULL,/*红利*/  
deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0 /*部门编号*/  
)ENGINE=INNODB DEFAULT CHARSET=UTF8 ;

2.2 设置参数log_bin_trust_function_creators

创建函数，假如报错：This function has none of DETERMINISTIC…

# 由于开启过慢查询日志，因为我们开启了 bin-log, 我们就必须为我们的function指定一个参数。

show variables like 'log_bin_trust_function_creators';

set global log_bin_trust_function_creators=1;

这样添加了参数以后，如果mysqld重启，上述参数又会消失，永久方法：

windows下my.ini[mysqld]加上log_bin_trust_function_creators=1

linux下 /etc/my.cnf下my.cnf[mysqld]加上log_bin_trust_function_creators=1

2.3 创建函数，保证每天数据都不同

2.3.1 随机产生字符串

DELIMITER $$
CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
BEGIN    ##方法开始
 DECLARE chars_str VARCHAR(100) DEFAULT   'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ'; 
 ##声明一个 字符窜长度为 100 的变量 chars_str ,默认值 
 DECLARE return_str VARCHAR(255) DEFAULT '';
 DECLARE i INT DEFAULT 0;
##循环开始
 WHILE i < n DO  
 SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
##concat 连接函数  ，substring(a,index,length) 从index处开始截取
 SET i = i + 1;
 END WHILE;
 RETURN return_str;
END $$

#假如要删除
#drop function rand_string;

2.3.2 随机产生部门编号

#用于随机产生部门编号
DELIMITER $$
CREATE FUNCTION rand_num( ) 
RETURNS INT(5)  
BEGIN   
 DECLARE i INT DEFAULT 0;  
 SET i = FLOOR(100+RAND()*10);  
RETURN i;  
 END $$

#假如要删除
#drop function rand_num;

2.4 创建存储过程

2.4.1 创建往emp表中插入数据的存储过程

DELIMITER $$
CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))  
BEGIN  
DECLARE i INT DEFAULT 0;   
#set autocommit =0 把autocommit设置成0  ；提高执行效率
 SET autocommit = 0;    
 REPEAT  ##重复
 SET i = i + 1;  
 INSERT INTO emp (empno, ename ,job ,mgr ,hiredate ,sal ,comm ,deptno ) VALUES ((START+i) ,rand_string(6),'SALESMAN',0001,CURDATE(),FLOOR(1+RAND()*20000),FLOOR(1+RAND()*1000),rand_num());  
 UNTIL i = max_num   ##直到  上面也是一个循环
 END REPEAT;  ##满足条件后结束循环
 COMMIT;   ##执行完成后一起提交
 END $$

#删除
# DELIMITER ;
# drop PROCEDURE insert_emp;

2.4.2 创建往dept表中插入数据的存储过程

#执行存储过程，往dept表添加随机数据
DELIMITER $$
CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))  
BEGIN  
DECLARE i INT DEFAULT 0;   
 SET autocommit = 0;    
 REPEAT  
 SET i = i + 1;  
 INSERT INTO dept (deptno ,dname,loc ) VALUES (START +i ,rand_string(10),rand_string(8));  
 UNTIL i = max_num  
 END REPEAT;  
 COMMIT;  
 END $$

#删除
# DELIMITER ;
# drop PROCEDURE insert_dept;

2.5 调用存储过程

dept

DELIMITER ; #把结束分隔符设置回分号
CALL insert_dept(100,10); # 表示插10个部门，编号从101开始

在这里插入图片描述

dept

#执行存储过程，往emp表添加50万条数据
DELIMITER ;    #将 结束标志换回 ;
CALL insert_emp(100001,500000);

3. Show Profile

3.1 简介

是mysql提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于SQL的调优的测量
默认情况下，参数处于关闭状态，并保存最近15次的运行结果

3.2 分析步骤

3.2.1 查看当前的mysql版本是否支持

Show  variables like 'profiling';

默认是关闭，使用前需要开启

3.2.2 开启功能，默认是关闭，使用前需要开启

show variables like 'profiling';
 
set profiling=1;

3.2.3 运行SQL

select * from emp group by id%10 limit 150000;

select * from emp group by id%20  order by 5

3.2.4 查看结果

show profiles;

在这里插入图片描述

很快的话可以再加点数据

3.2.5 诊断SQL

show profile cpu,block io for query n  (n为上一步前面的问题SQL数字号码);

在这里插入图片描述

查询其他参数：

type:

| ALL --显示所有的开销信息

| BLOCK IO --显示块IO相关开销

| CONTEXT SWITCHES --上下文切换相关开销

| CPU --显示CPU相关开销信息

| IPC --显示发送和接收相关开销信息

| MEMORY --显示内存相关开销信息

| PAGE FAULTS --显示页面错误相关开销信息

| SOURCE --显示和Source_function，Source_file，Source_line相关的开销信息

| SWAPS --显示交换次数相关开销的信息

3.26 日常开发需要注意的结论

converting HEAP to MyISAM 查询结果太大，内存都不够用了往磁盘上搬了。
Creating tmp table 创建临时表

因为需要拷贝数据到临时表用完再删除
Copying to tmp table on disk 把内存中临时表复制到磁盘，危险！！！
locked

4.全局查询日志

永远不要在生产环境开启这个功能。

4.1 配置启用

在mysql的my.cnf中，设置如下：

#开启

general_log=1

# 记录日志文件的路径

general_log_file=/path/logfile

#输出格式

log_output=FILE

4.2 编码启用

命令
set global general_log=1;

#全局日志可以存放到日志文件中，也可以存放到Mysql系统表中。存放到日志中性能更好一些，存储到表中
set global log_output=‘TABLE’;

此后，你所编写的sql语句，将会记录到mysql库里的general_log表，可以用下面的命令查看

select * from mysql.general_log;

Gangbb

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Mysql高级(周阳)笔记之查询截取分析(完整详细)

目录1. 慢查询日志1.1 含义1.2 使用1.2.1 查看是否开启和开启1.3 慢查询日志内容1.4 记录慢查询并后续分析1.5 查询当前系统中有多少条慢查询记录1.6 慢查询日志配置版1.7 日志分析工具mysqldumpslow2. 批量插入数据脚本2.1 建表sql2.2 设置参数log_bin_trust_function_creators2.3 创建函数，保证每天数据都不同2.3.1 随机产生字符串2.3.2 随机产生部门编号2.4 创建存储过程2.4.1 创建往emp表中插入数据的存储过程2.
复制链接

扫一扫

专栏目录