在很多应用场景下,我们需要对从数据库中查询出的数据进行分段展示,比如一个有1000+数据量的用户信息表,当我们需要查看所有用户信息时,我们可能会以10+条或者20+条 或者更多数量一次展示在应用上,但是绝不会是把所有数据一次展示,要实现这样的功能,我们就需要对数据进行分页(分段)展示,理论上讲,数据分页可以在程序中进行,也可以利用数据库实现
在程序中实现时 我们将查询出的数据在程序中分段,每次截取一个子段返回给请求应用,但使用这种方法需要我们每次都从数据库中获取全部的数据,当数据量很大时,肯定会影响到数据库的性能,所以一般情况下不选择使用。
利用数据库本身实现
-- 检索第6-15条数据 SELECT * FROM tbl LIMIT 5,10;
-- 从默认起始位置(0)开始返回5前条数据 SELECT * FROM tbl LIMIT 5;
MySQL 的 limit 操作常用于程序中的分页,但是如果你没有了解过limit的机制和相关优化原理,一旦数据量上升,程序的性能将会惨不忍睹
select XXX from tableA limit 1000000,10;
上面的语句是取1000000后面的10条记录,但是这样会导致 mysql 将1000000 之前的所有数据全部扫描一次,大量浪费了时间。扫描100W数据花费的时间,大概是2S多
这在程序中肯定是不可忍受的。
对于mysql,优化limit最重要的一点就是尽量先用主键id的索引到起始位置,然后再截取需要的行数。
优化方式
(1)使用记录主键的方式进行优化
limit最大的问题在于要扫描前面不必要的数据,所以可以先对主键的条件做设定,然后记录住主键的位置再取行。
select * from tableA where id > 1000000 order by id limit 10;
(2)使用子查询进行查询:
select * from tableA where id >= (select id from tableA limit 1000000,1) limit 10;