千万级数据库分页优化

今天接到一个五千万的数据库文件，需要洗一遍数据，洗数据的时候遇到两个问题

原始数据没有主键 需要手动添加

ALTER TABLE `tablename` ADD COLUMN `id`  int(11) NOT NULL AUTO_INCREMENT FIRST ,ADD PRIMARY KEY (`id`);

5000万数据大概执行了十五分钟左右

limit 查询数据变慢

优化查询语句由

select * from `tablename` limit 10000, 1000

改为

select * from `tablename` where id >10000000  limit 0, 1000

这样修改后查询效率由原来的8s左右变为1s以内

分析 ： mysql分页查询是先把分页之前数据都查询出来了，然后截取后把不是分页的数据给扔掉后得到的结果。所以数据量太越大分页越慢。
但是我们可以先把需要分页的id查询出来，因为id是主键id主键索引，查询起来还是快很多的，然后根据id连接查询对应的分页数据