巨量数据表分页问题

1 背景

分页性能问题，之前遇到过这类问题，拿出来再讨论下

2 分析

分页性能问题，特别是在数据量大的情况下，是一个常见的问题。通常，当我们使用类似 LIMIT 和 OFFSET 的SQL语句进行分页时，性能问题尤其明显。这是因为随着 OFFSET 的增加，数据库需要跳过更多的行才能获取到需要的数据，这导致了查询时间的增加。

我们在查看前几页的时候，发现速度非常快，比如 limit 200,25，瞬间就出来了。但是越往后，速度就越慢，特别是百万条之后，卡到不行，那这个是什么原理呢。先看一下我们翻页翻到后面时，查询的sql是怎样的：

1 select * from t_name where c_name1='xxx' order by c_name2 limit 2000000,25;

这种查询的慢，其实是因为limit后面的偏移量太大导致的。比如像上面的 limit 2000000,25 ，这个等同于数据库要扫描出 2000025 条数据，然后再丢弃前面的 20000000 条数据，返回剩下25条数据给用户，这种取法明显不合理。