mysql 循环分页查询_MySQL查询大量数据分页

MySQL查询大量数据分页

在上一篇文章：MySQL查询大量数据所面临的一些问题，说明了在MySQL中查询大量数据所面临的问题。

遇到查询大型数据，应该怎么解决呢？

和容易想到就是分页查询，这是一个正确的方法，应该如何分页？

最主要就是使用MySQL中的LIMIT 和 OFFSET关键字，下面是示例：SELECT * FROM Orders LIMIT 30;

上面查询了：“订单”的表中选择1-30(含)之间的所有记录

如果我们想选择记录16-25(含)怎么办？

Mysql还提供了一种解决方法：使用OFFSET。

下面的SQL查询显示“仅返回10条记录，从记录16开始(偏移15)”：SELECT * FROM Orders LIMIT 10 OFFSET 15;

利用这个例子，我们就很容易给大型数据分页。

具体查询示例如下：for item in range(108095):

# 查询2019年全年数据

sql = "SELECT * FROM table_name JOIN (SELECT id FROM table_name WHERE Time BETWEEN '2019-01-01 00:00:00' AND '2020-01-01 00:00:00' LIMIT 100 OFFSET 0) AS t1 ON (t1.id=table_name.id);"

# 执行SQL语句

try:

cur.execute(sql)

# 获取所有记录列表

results = cur.rowcount

注意这里偏移量一直是0，是由于后面删除了查询到的数据，所以一直是从0开始的，这里循环了108095次，也就是数据量/100取整+1得到的数据。

这样通过上面的原理给上面的数据实现了分页，同时使用了覆盖查询，来优化查询速度。

同时优化MySQL查询速度，可以参考这篇文章：MySQL查询优化

参考资料：

黄兵个人博客原创