工作总结 - 大数据表分页查询优化

在我们进行数据查询时，不可避免要碰到分页的问题。我们通常会在返回数据表格页面下方显示如下信息用于对分页的信息的操作：

总数: 200  [首页] [上一页] 2，[3]，4，5 [下一页] [尾页]  

对于小表我们可以直接操作数据获取如下信息

使用sql语句计算出符合条件的记录总数
select count(1) from table where xxx in (1,2,3)

通过如下的sql获取指定页面的数据
select * from table where xxx in (1,2,3) order by id limit #offset#, 10

对大表的分页的操作

如果表的数据量达到千万、亿级的数量级时，以上方法就不可行了。使用以上的sql语句计算符合条件的数据总数时，会花费大量的时间。我们可以使用如下方法解决这个问题

避免总数的查询

研究发现：随着时间的推移，越早产生的数据，价值越小，在数据量越大的情况下，用户对总数的敏感性越低。所以在数据量足够大的情况下，我们可以不在结果中返回总数（即去掉分页信息中的总数、首页、尾页信息），避免总数的查询。