mysql between 查询不出来_一个奇怪的MySQL慢查询,打懵了不懂业务的DBA!

本文探讨了一个关于MySQL BETWEEN查询导致慢查询的问题。即使字段有索引,查询仍然选择全表扫描。分析发现,由于统计信息和业务逻辑,优化SQL的执行计划至关重要。改写SQL,将条件调整,限制扫描范围,可以显著提高查询效率。
摘要由CSDN通过智能技术生成
5fd223edef551e42ad1d080f83a4e1cf.png

文章来源;来源 | https://urlify.cn/ayYBvu

前言

最近,开发人员需要定期的删除表里一定时间以前的数据,SQL如下:

mysql > delete from testtable WHERE biz_date <= '2017-08-21 00:00:00'  AND status = 2  limit 500G

前段时间在优化的时候,我们已经在相应的查询条件上加上了索引,如下:

KEY `idx_bizdate_st` (`biz_date`,`status`)

但是实际执行的SQL依然非常慢,为什么呢,我们来一步步分析验证下。

分析

表上的字段既然都有索引,那么按照之前的文章分析,是两个字段都可以走上索引的。

既然能够利用索引,表的总大小也就是200M左右,那么为什么形成了慢查呢?

我们查看执行计划,去掉limit 后,发现他选择了走全表扫描。

mysql > desc  select * from testtable   WHERE biz_date <= '2017-08-21 00:00:00';+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+| id | select_type | table     | type | possible_keys  | key  | key_len | ref  | rows   | Extra       |+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+|  1 | SIMPLE      | testtable | ALL  | idx_bizdate_st | NULL | NULL    | NULL | 980626 | Using where |+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+1 row in set (0.00 sec)-- 只查询biz_date-- 关键点:rows:980626;type:ALLmysql > desc  select * from testtable   WHERE biz_date <= '2017-08-21 00:00:00' and status = 2;+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+| id | select_type | table     | type | possible_keys  | key  | key_len | ref  | rows   | Extra       |+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+|  1 | SIMPLE      | testtable | ALL  | idx_bizdate_st | NULL | NULL    | NULL | 980632 | Using where |+----+-------------+-----------+------+----------------+------+---------+------+--------+-------------+1 row in set (0.00 sec)-- 查询biz_date + status -- 关键点:rows:980632;type:ALLmysql > desc  select * from testtable   WHERE biz_date <= '2017-08-21 00:00:00' and status = 2 limit 100;+----+-------------+-----------+-------+----------------+----------------+---------+------+--------+-----------------------+| id | select_type | table     | type  | possible_keys  | key            | key_len | ref  | rows   | Extra                 |+----+-------------+-----------+-------+----------------+----------------+---------+------+--------+-----------------------+|  1 | SIMPLE      | testtable | range | idx_bizdate_st | idx_bizdate_st | 6       | NULL | 490319 | Using index condition |+----+-------------+-----------+-------+----------------+----------------+---------+------+--------+-----------------------+1 row in set (0.00 sec)-- 查询biz_date + status+ limit -- 关键点:rows:490319;mysql > select count(*)  from testtable   WHERE biz_date <= '2017-08-21 00:00:00' and status = 2;+----------+| count(*) |+----------+|        0 |+----------+1 row in set (0.34 sec)mysql > select count(*)  from testtable   WHERE biz_date <= '2017-08-21 00:00:00';+----------+| count(*) |+----------+|   970183 |+----------+1 row in set (0.33 sec)mysql > select count(*)  from testtable;+----------+| count(*) |+----------+|   991421 |+----------+1 row in set (0.19 sec)mysql > select distinct biz_status from testtable;+------------+| biz_status |+------------+|          1 ||          2 ||          4 |+------------+

通过以上查询,我们可以发现如下几点问题:

  • 通过 biz_date 预估出来的行数 和 biz_date + status=2 预估出来的行数几乎一样,为98w。
  • 实际查询表 biz_date + status=2 一条记录都没有。
  • 整表数据量达到了99万,MySQL发现通过索引扫描需要98w行(预估)

因此,MySQL通过统计信息预估的时候,发现需要扫描的索引行数几乎占到了整个表,放弃了使用索引,选择了走全表扫描。

那是不是他的统计信息有问题呢?我们重新收集了下表统计信息,发现执行计划的预估行数还是一样,猜测只能根据组合索引的第一个字段进行预估(待确定)。

那我们试下直接强制让他走索引呢?

mysql > select * from testtable   WHERE biz_date <= '2017-08-21 00:00:00' and status = 2;Empty set (0.79 sec)mysql > select * from testtable force index(idx_bizdate_st)  WHERE biz_date <= '2017-08-21 00:00:00' and status = 2;Empty set (0.16 sec)

我们发现,强制指定索引后,查询耗时和没有强制索引比较,的确执行速度快了很多,因为没有强制索引是全表扫描嘛!但是!依然非常慢!

那么还有什么办法去优化这个本来应该很快的查询呢?

大家应该都听说过要选择性好的字段放在组合索引的最前面?

选择性好的索引在前面并不是对所有的场景都通用的,这个场景可以将status放前面,sql速度会更快。

那,能不能让他不要扫描索引的那么多范围呢?之前的索引模型中也说过,MySQL是通过索引去确定一个扫描范围,如果能够定位到尽可能小的范围,那是不是速度上会快很多呢?

并且业务逻辑上是定期删除一定日期之前的数据。所以逻辑上来说,每次删除都是只删除一天的数据,直接让SQL扫描一天的范围。那么我们就可以改写SQL啦!

mysql > select * from testtable WHERE biz_date >= '2017-08-20 00:00:00' and biz_date <= '2017-08-21 00:00:00' and status = 2;Empty set (0.00 sec)mysql > desc select * from testtable WHERE biz_date >= '2017-08-20 00:00:00' and biz_date <= '2017-08-21 00:00:00' and status = 2;+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+| id | select_type | table            | type  | possible_keys  | key            | key_len | ref  | rows | Extra                 |+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+|  1 | SIMPLE      | testtable        | range | idx_bizdate_st | idx_bizdate_st | 6       | NULL |  789 | Using index condition |+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+1 row in set (0.00 sec)-- rows降低了很多,乖乖的走了索引mysql > desc select * from testtable WHERE biz_date >= '2017-08-20 00:00:00' and biz_date <= '2017-08-21 00:00:00' ;+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+| id | select_type | table            | type  | possible_keys  | key            | key_len | ref  | rows | Extra                 |+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+|  1 | SIMPLE      | testtable        | range | idx_bizdate_st | idx_bizdate_st | 5       | NULL | 1318 | Using index condition |+----+-------------+------------------+-------+----------------+----------------+---------+------+------+-----------------------+1 row in set (0.00 sec)

-- 即使没有status,也是肯定走索引啦

小结

这个问题,我原本打算用hint,强制让他走索引,但是实际上强制走索引的执行时间并不能带来满意的效果。结合业务逻辑,来优化SQL,是最好的方式,也是终极法宝,一定要好好利用。不了解业务的DBA,不是一个好DBA...

对了,在这里说一下,我目前是在职Java开发,如果你现在正在学习Java,了解Java,渴望成为一名合格的Java开发工程师,在入门学习Java的过程当中缺乏基础入门的视频教程,可以关注并私信我:01。获取。我这里有最新的Java基础全套视频教程。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值