mysql limit过大 遍历的一些问题

最近有个需求,让把db里面某张符合条件的数据都load出来,数据量略大,当然不能一次都拉出来,那自然就想到了limit,sql如下

select  * 
from my_table
WHERE point_type=1003
order by id  limit 0,200

point_type 就是一个不带索引的普通字段

先是limit 0,1000 然后就是上一批数据的最大id,再次limit

但是很快就发生了问题,当offset很大的时候,sql基本就卡死了。

select  * 
from my_table
WHERE point_type =1003
limit 900000,200
-- 耗时 3181  

网上查了一点资料 - 阿里巴巴的java开发手册

 sql改成了如下:

select a.* 
from my_table a 
right join (
    select id 
    from my_table
    WHERE point_type =1003
    limit 900000,200
 ) b
on a.id = b.id

-- 680 ms


select a.* 
from my_table a ,
(
    select id 
    from my_table
    WHERE point_type =1003
    limit 900000,200
 ) b
where a.id = b.id

-- 690 ms

确实有优化,但是不管是on 还是 where ,时间还是有点长

改成如下,耗时降低到6ms。而且 point_type 这个字段上并没有索引(当然id上是有索引的)

select  * 
from my_table
WHERE id > 9427596100 and  point_type=1003
limit 1000
-- 6ms

当然这个9427596100,是上一次查询的时候,返回的最后一条数据的id


参考资料

sql的连接 
https://www.runoob.com/mysql/mysql-join.html
https://blog.csdn.net/Kermit_father/article/details/85937406

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值