MySQL查询大量数据分页
在上一篇文章:MySQL查询大量数据所面临的一些问题,说明了在MySQL中查询大量数据所面临的问题。
遇到查询大型数据,应该怎么解决呢?
和容易想到就是分页查询,这是一个正确的方法,应该如何分页?
最主要就是使用MySQL中的LIMIT 和 OFFSET关键字,下面是示例:SELECT * FROM Orders LIMIT 30;
上面查询了:“订单”的表中选择1-30(含)之间的所有记录
如果我们想选择记录16-25(含)怎么办?
Mysql还提供了一种解决方法:使用OFFSET。
下面的SQL查询显示“仅返回10条记录,从记录16开始(偏移15)”:SELECT * FROM Orders LIMIT 10 OFFSET 15;
利用这个例子,我们就很容易给大型数据分页。
具体查询示例如下:for item in range(108095):
# 查询2019年全年数据
sql = "SELECT * FROM table_name JOIN (SELECT id FROM table_name WHERE Time BETWEEN '2019-01-01 00:00:00' AND '2020-01-01 00:00:00' LIMIT 100 OFFSET 0) AS t1 ON (t1.id=table_name.id);"
# 执行SQL语句
try:
cur.execute(sql)
# 获取所有记录列表
results = cur.rowcount
注意这里偏移量一直是0,是由于后面删除了查询到的数据,所以一直是从0开始的,这里循环了108095次,也就是数据量/100取整+1得到的数据。
这样通过上面的原理给上面的数据实现了分页,同时使用了覆盖查询,来优化查询速度。
同时优化MySQL查询速度,可以参考这篇文章:MySQL查询优化
参考资料:
黄兵个人博客原创