SQL 执行得很慢的原因

此问题涉及MySQL很多核心知识,如同测验计算机网络知识时,问“输入 URL 回车之后,究竟发生了什么”一样,就看能说出多少了。

一、执行很慢,分两种情况

  1. 大多数情况是正常的,只是偶尔出现很慢的情况。
  2. 在数据量不变的情况下,这条 SQL 一直以来都执行的很慢。

二、偶尔很慢的情况

一条 SQL 偶尔出现很慢的情况,该 SQL 的书写本身问题不大,而是其他原因造成的,那会是什么原因呢?

1️⃣数据库在刷新脏页

当在数据库中插入或者更新一条数据的时候,数据库会在内存中把对应字段的数据更新了。更新之后,这些更新的字段并不会马上同步持久化到磁盘中去,而是把这些更新的记录写入到 redo log 日志中去,等到空闲的时候,再通过 redo log 里的日志把最新的数据同步到磁盘中去。

redo log 的容量是有限的。如果数据库一直很忙,更新又很频繁,redo log 很快就会被写满,如此就无法等到空闲时候把数据同步到磁盘,只能暂停其他操作,全身心把数据同步到磁盘中去。此时,就会导致平时正常的 SQL 突然执行得很慢。所以说,数据库在同步数据到磁盘的时候,就有可能导致 SQL 执行得很慢。

2️⃣拿不到锁

要执行的 SQL,刚好这条语句涉及的表,别人在用,并且加锁了,当前拿不到锁,只能等待别人释放锁。或者,表没有加锁,但要使用到的某一行被加锁了,这也会造成上述问题。

可以用show processlist这个命令来查看当前的状态,判断是否真的在等待锁。

三、一直很慢的情况

在数据量一样大的情况下,SQL 每次都执行的很慢,那就要好好考虑下 SQL 的书写了。假设一个表,表里有下面三个字段,分别是主键 id,和两个普通字段 c 和 d。

mysql> CREATE TABLE `t` (
 `id` int(11) NOT NULL,
 `c` int(11) DEFAULT NULL,
 `d` int(11) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB;

1️⃣没有用上索引。例如执行语句:

select * from t where 100 < c and c < 100000;
c 字段没有索引,走全表扫描,导致查询很慢。

2️⃣字段有索引,但却没有用索引。

给 c 这个字段加上索引,然后执行语句:

select * from t where c - 1 = 1000;
在查询的时候,在字段的左边做了运算,导致索引失效

正确的查询应该如下:

select * from t where c = 1000 + 1;

3️⃣函数操作导致没有用上索引

select * from t where substring(c,2,4) = 666;
在查询的时候,对字段进行了函数操作,导致索引失效

所以一条语句执行很慢,可能是该语句没有用上索引,具体原因就要分析了,上述应该是出现的比较多的三个原因。

4️⃣数据库自己选错索引了

例如:

select * from t where 100 < c and c < 100000;

主键索引和非主键索引是有区别的,主键索引存放的值是整行字段的数据,而非主键索引并非存放整行字段的数据,而是存放主键字段的值。也就是说,如果走 c 这个字段的索引的话,最后会查询到对应主键的值,然后根据主键的值走主键索引,查询到整行数据返回。所以就算在 c 字段上有索引,系统也不一定会走 c 这个字段上的索引,而是有可能会直接扫描全表,找出所有符合 100 < c and c < 100000 的数据。

为什么会这样呢?

系统在执行这条语句的时候,会进行预测:究竟是走 c 索引扫描的行数少,还是直接扫描全表扫描的行数少呢?显然,扫描行数越少当然越好了,因为扫描行数越少,意味着I/O操作的次数越少。

如果是扫描全表的话,那么扫描的次数就是这个表的总行数了,假设为 n。而如果走索引 c 的话,通过索引 c 找到主键之后,还得通过主键索引来找整行的数据,也就是说,需要走两次索引。而且,也不知道符合 100 c < and c < 10000 这个条件的数据有多少行,万一这个表是全部数据都符合呢?这意味着,走 c 索引不仅扫描的行数是 n,同时还得每行数据走两次索引。

所以系统是有可能走全表扫描而不走索引的。那系统是怎么预测判断的呢?

系统是通过索引的区分度来判断的。一个索引上不同的值越多,意味着出现相同数值的索引越少,索引的区分度就越高。区分度也称之为基数,即区分度越高,基数越大。所以,一个索引的基数越大,意味着走索引查询越有优势。

基数越大,意味着符合 100 < c and c < 10000 这个条件的行数越少。

那么问题来了,怎么知道这个索引的基数呢?系统当然是不会遍历全表来获得一个索引的基数的,代价太大了,索引系统是通过遍历部分数据,也就是通过采样的方式,来预测索引的基数的。

采样,就有可能出现失误的情况。也就是说,c 这个索引的基数实际上是很大的,但是采样的时候,却很不幸,把这个索引的基数预测成很小。例如采样的那一部分数据刚好基数很小,然后就误以为索引的基数很小。系统就不走 c 索引直接全表扫描了。

结论:
由于统计的失误,导致系统没有走索引,而是走了全表扫描。而这也是导致 SQL 语句执行的很慢的原因。

系统判断是否走索引,扫描行数的预测其实只是原因之一,这条查询语句是否需要使用使用临时表、是否需要排序等也是会影响系统的选择的。

不过,有时候也可以通过强制走索引的方式来查询,例如

select * from t  force index(a) where c < 100 and c < 100000;

可以通过show index from t;来查询索引的基数和实际是否符合,如果与实际很不符合的话,可以重新来统计索引的基数,可以用这条命令 analyze table t; 来重新统计分析。

既然会预测错索引的基数,这也意味着当查询语句有多个索引的时候,系统有可能会选错索引,这也可能是 SQL 执行的很慢的一个原因。

四、总结

一个 SQL 执行的很慢,要分两种情况讨论。

1️⃣偶尔执行的很慢,则有如下原因:

  • 数据库在刷新脏页,例如 redo log 写满了需要同步到磁盘。
  • 执行的时候,遇到锁,如表锁、行锁。

2️⃣一直执行的很慢,则有如下原因:

  • 没有用上索引:该字段没有索引;由于对字段进行运算、函数操作导致无法用索引。
  • 数据库选错了索引。
  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
【赛迪网-IT技术报道】SQL Server数据库查询速度原因有很多,常见的有以下几种:   1、没有索引或者没有用到索引(这是查询最常见的问题,是程序设计的缺陷)     2、I/O吞吐量小,形成了瓶颈效应。     3、没有创建计算列导致查询不优化。     4、内存不足     5、网络速度     6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)     7、锁或者死锁(这也是查询最常见的问题,是程序设计的缺陷)     8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。     9、返回了不必要的行和列     10、查询语句不好,没有优化 ●可以通过以下方法来优化查询 : 1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提高I/O越重要。 2、纵向、横向分割表,减少表的尺寸(sp_spaceuse) 3、升级硬件 4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段。 5、提高网速。 6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。 配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行 Microsoft SQL Server? 2000时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的1.5倍。如果另外安装了全文检索功能,并打算运行Microsoft搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的3倍。将SQL Server max server memory服务器配置选项配置为物理内存的1.5倍(虚拟内存大小设置的一半)。 7、增加服务器CPU个数;但是必须 明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询 的排序、连接、扫描和GROUP BY字句同时执行SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT, DELETE还不能并行处理。 8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。 9、DB Server 和APPLication Server 分离;OLTP和OLAP分离 10、分布式分区视图可用于实现数据库服务器联合体。 联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件''分区视图'') a、在实现分区视图之前,必须先水平分区表 b、 在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上 运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的:   1、 查询语句的词法、语法检查     2、 将语句提交给DBMS的查询优化器     3、 优化器做代数优化和存取路径的优化     4、 由预编译模块生成查询规划     5、 然后在合适的时间提交给系统处理执行     6、 最后将执行结果返回给用户。 其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JFS_Study

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值