数据库优化及SQL优化详解大全

目录

1.查看SQL执行频率

2.定位低效率执行SQL

3.explain分析执行计划(重点)

3.1 explain分析之id讲解

3.2 explain分析之select_type讲解

3.3 explain分析之type讲解

3.4 explain分析之key讲解

3.5 explain分析之rows讲解

3.6 explain分析之extra讲解

4. show profile分析SQL

5. trace分析优化器执行计划

6. 通过分析优化SQL语句

7. 查看索引使用情况

8. 各种SQL优化思路

1)优化insert语句(大批量插入数据 )

2)优化order by语句

3)优化group by 语句

4)优化嵌套查询

9. 使用SQL提示

1)USE INDEX

2)IGNORE INDEX

3)FORCE INDEX



1.查看SQL执行频率

MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。show [session|global] status 可以根据需要加上参数“session”或者“global”来显示 session 级(当前连接)的计结果和 global 级(自数据库上次启动至今)的统计结果。默认使用参数是“session”。

语句演示:SHOW GLOBAL STATUS LIKE 'Com_______';

模糊查询形式:SHOW GLOBAL STATUS LIKE 'Com_%';

常用的改变行号的统计:show status like 'Innodb_rows_%';

各个参数的意义讲解:

参数含义
Com_select执行 select 操作的次数,一次查询只累加 1。
Com_insert执行 INSERT 操作的次数,对于批量插入的 INSERT 操作,只累加一次。
Com_update执行 UPDATE 操作的次数。
Com_delete执行 DELETE 操作的次数。
Innodb_rows_readselect 查询返回的行数。
Innodb_rows_inserted执行 INSERT 操作插入的行数。
Innodb_rows_updated执行 UPDATE 操作更新的行数。
Innodb_rows_deleted执行 DELETE 操作删除的行数。
Connections试图连接 MySQL 服务器的次数。
Uptime服务器工作时间。
Slow_queries慢查询的次数。

Com_*** : 这些参数对于所有存储引擎的表操作都会进行累计。

Innodb_*** : 这几个参数只是针对InnoDB 存储引擎的,累加的算法也略有不同。

2.定位低效率执行SQL

通过以下两种方式定位执行效率较低的语句(常用:show processlist):

  • 慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL 语句,用--log-slow-queries[=file_name]选项启动时,mysqld 写一个包含所有执行时间超过 long_query_time 秒的 SQL 语句的日志文件。(本文不做过多的介绍,如有兴趣看下慢查询日志是如何实现的)

  • show processlist : 慢查询日志在查询结束以后才纪录,所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题,可以使用show processlist命令查看当前MySQL在进行的线程,包括线程的状态、是否锁表等,可以实时地查看 SQL 的执行情况,同时对一些锁表操作进行优化。

可以查询到当前正在使用数据库的连接


对这些列进行说明:

1) id列,用户登录mysql时,系统分配的"connection_id",可以使用函数connection_id()查看

2) user列,显示当前用户。如果不是root,这个命令就只显示用户权限范围的sql语句

3) host列,显示这个语句是从哪个ip的哪个端口上发的,可以用来跟踪出现问题语句的用户

4) db列,显示这个进程目前连接的是哪个数据库

5) command列,显示当前连接的执行的命令,一般取值为休眠(sleep),查询(query),连接(connect)等

6) time列,显示这个状态持续的时间,单位是秒

7) state列,显示使用当前连接的sql语句的状态,很重要的列。state描述的是语句执行中的某一个状态。一个sql语句,以查询为例,可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成

8) info列,显示这个sql语句,是判断问题语句的一个重要依据

3.explain分析执行计划(重点)

通过以上步骤查询到效率低的 SQL 语句后,可以通过 EXPLAIN或者 DESC命令获取 MySQL如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

EXPLAIN SELECT * FROM student WHERE sid = 1;

EXPLAIN SELECT * FROM student WHERE sname = '张三';

展示字段的说明:

字段含义
idselect查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。
select_type表示 SELECT 的类型,常见的取值有 SIMPLE(简单表,即不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)、UNION(UNION 中的第二个或者后面的查询语句)、SUBQUERY(子查询中的第一个 SELECT)等
table输出结果集的表
type表示表的连接类型,性能由好到差的连接类型为( system ---> const -----> eq_ref ------> ref -------> ref_or_null----> index_merge ---> index_subquery -----> range -----> index ------> all )
possible_keys表示查询时,可能使用的索引
key表示实际使用的索引
key_len索引字段的长度
rows扫描行的数量
extra执行情况的说明和描述

3.1 explain分析之id讲解

id 字段是 select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。id 情况有三种 :

1、 id 相同表示加载表的顺序是从上到下。

2、 id 不同id值越大,优先级越高,越先被执行。

3、 id 有相同,也有不同,同时存在。id相同的可以认为是一组,从上往下顺序执行;在所有的组中,id的值越大,优先级越高,越先执行。

3.2 explain分析之select_type讲解

3.3 explain分析之type讲解

type含义
NULLMySQL不访问任何表,索引,直接返回结果
system表只有一行记录(等于系统表),这是const类型的特例,一般不会出现
const表示通过索引一次就找到了,const 用于比较primary key 或者 unique 索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,MySQL 就能将该查询转换为一个常亮。const于将 "主键" 或 "唯一" 索引的所有部分与常量值进行比较
eq_ref类似ref,区别在于使用的是唯一索引,使用主键的关联查询,关联查询出的记录只有一条。常见于主键或唯一索引扫描
ref非唯一性索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,返回所有匹配某个单独值的所有行(多个)
range只检索给定返回的行,使用一个索引来选择行。 where 之后出现 between , < , > , in 等操作。
indexindex 与 ALL的区别为 index 类型只是遍历了索引树, 通常比ALL 快, ALL 是遍历数据文件。
all将遍历全表以找到匹配的行

结果值从最好到最坏以此是: system > const > eq_ref > ref > range > index > ALL

一般来说, 我们需要保证查询至少达到 range 级别, 最好达到ref 。

3.4 explain分析之key讲解

possible_keys : 显示可能应用在这张表的索引, 一个或多个。 

key : 实际使用的索引, 如果为NULL, 则没有使用索引。

key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。

3.5 explain分析之rows讲解

扫描行的数量。

3.6 explain分析之extra讲解

额外字段讲解:

extra含义
using filesort说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取, 称为 “文件排序”, 效率低。
using temporary使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于 order by 和 group by; 效率低
using index表示相应的select操作使用了覆盖索引, 避免访问表的数据行, 效率不错。

4. show profile分析SQL

Mysql从5.0.37版本开始增加了对 show profiles 和 show profile 语句的支持。show profiles 能够在做SQL优化时帮助我们了解时间耗费。

执行show profiles 指令, 来查看SQL语句执行的耗时:

 通过show profile for query query_id 语句可以查看到该SQL执行过程中每个线程的状态和消耗的时间:

说明:Sending data 状态表示MySQL线程开始访问数据行并把结果返回给客户端,而不仅仅是返回给客户端。由于在Sending data状态下,MySQL线程往往需要做大量的磁盘读取操作,所以经常是整各查询中耗时最长的状态。

在获取到最消耗时间的线程状态后,MySQL支持进一步选择all、cpu、block io 、context switch、page faults等明细类型类查看MySQL在使用什么资源上耗费了过高的时间。例如,选择查看all的耗费时间 :

 字段说明:

字段含义
Statussql 语句执行的状态
Durationsql 执行过程中每一个步骤的耗时
CPU_user当前用户占有的cpu
CPU_system系统占有的cpu

5. trace分析优化器执行计划

MySQL5.6提供了对SQL的跟踪trace, 通过trace文件能够进一步了解为什么优化器选择A计划, 而不是选择B计划。

打开trace , 设置格式为 JSON,并设置trace最大能够使用的内存大小,避免解析过程中因为默认内存过小而不能够完整展示。涉及到的配置如下:

SET optimizer_trace="enabled=on",end_markers_in_json=on;
set optimizer_trace_max_mem_size=1000000;

6. 通过分析优化SQL语句

1. 通过添加索引的方式,进行加速查询(如何加索引请看以前发布的播客)

2. 避免索引失效

        1). 全值匹配 ,对索引中所有列都指定具体值。

        2). 遵守最左前缀法则。指的是查询从索引的最左前列开始,并且不跳过索引中的列。

        3). 范围查询右边的列,不能使用索引 。

        4). 不要在索引列上进行运算操作, 索引将失效。(如:截取)

        5). 字符串不加单引号,造成索引失效。

        6). 尽量使用覆盖索引,避免select *

        7). 用or分割开的条件, 如果or前的条件中的列有索引,而后面的列中没有索引,那么涉及的索引都不会被用到。

        8). 以%开头的Like模糊查询,索引失效。如果仅仅是尾部模糊匹配,索引不会失效。如果是头部模糊匹配,索引失效。(通过覆盖索引可以解决)

        9). 如果MySQL评估使用索引比全表更慢,则不使用索引。

        10). is NULL , is NOT NULL有时索引失效。

        11). in 走索引, not in 索引失效。

        12). 单列索引和复合索引。尽量使用复合索引,而少使用单列索引 。

7. 查看索引使用情况

show global status like 'Handler_read%';    

 查询出的数据说明:

Handler_read_first:索引中第一条被读的次数。如果较高,表示服务器正执行大量全索引扫描(这个值越低越好)。

Handler_read_key:如果索引正在工作,这个值代表一个行被索引值读的次数,如果值越低,表示索引得到的性能改善不高,因为索引不经常使用(这个值越高越好)。

Handler_read_next :按照键顺序读下一行的请求数。如果你用范围约束或如果执行索引扫描来查询索引列,该值增加。

Handler_read_prev:按照键顺序读前一行的请求数。该读方法主要用于优化ORDER BY ... DESC。

Handler_read_rnd :根据固定位置读一行的请求数。如果你正执行大量查询并需要对结果进行排序该值较高。你可能使用了大量需要MySQL扫描整个表的查询或你的连接没有正确使用键。这个值较高,意味着运行效率低,应该建立索引来补救。

Handler_read_rnd_next:在数据文件中读下一行的请求数。如果你正进行大量的表扫描,该值较高。通常说明你的表索引不正确或写入的查询没有利用索引。

8. 各种SQL优化思路

1)优化insert语句(大批量插入数据 )

        主键顺序插入、关闭唯一性校验、手动提交事务

2)优化order by语句

        尽量减少额外的排序,通过索引直接返回有序数据。where 条件和Order by 使用相同的索引,并且Order By 的顺序和索引顺序相同, 并且Order by 的字段都是升序,或者都是降序。否则肯定需要额外的操作,这样就会出现FileSort。

3)优化group by 语句

        如果查询包含 group by 但是用户想要避免排序结果的消耗, 则可以执行order by null 禁止排序。

如:explain select sid,count(*) from student group by age order by null; 可以提高效率。

4)优化嵌套查询

        带有子查询的语句修改成带JOIN的连接语句,可以提高效率,还能避免事务或者表锁死。

9. 使用SQL提示

        SQL提示,是优化数据库的一个重要手段,简单来说,一条查询语句可能会有多条索引时,就在SQL语句中加入一些人为的提示来达到优化操作的目的。

1)USE INDEX

        在查询语句中表名的后面,添加 use index 来提供希望MySQL去参考的索引列表,就可以让MySQL不再考虑其他可用的索引。

如: explain select * from tb_student use index(idx_age_name) where name = '张三';

2)IGNORE INDEX

        如果用户只是单纯的想让MySQL忽略一个或者多个索引,则可以使用 ignore index 作为 hint 。

如: explain select * from tb_student ignore index(idx_age_name) where name = '张三';

3)FORCE INDEX

为强制MySQL使用一个特定的索引,可在查询中使用 force index 作为hint 。

如: explain select * from tb_student force index(idx_age_name) where name = '张三';

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值