问题场景描述
将一个sql的查询结果集导出为文件,由于一次查询结果集可能上百万条,在开发环境和测试环境均造成了内存溢出的问题。因此改为分页查询数据的方式,虽然慢点,但是规避了内存溢出的问题。
但是,在这一百多万条导出的数据中,发现导出的文件中的数据与数据库直接查询出的数据不一致。偶发性的部分数据缺失,部分数据有重复,但是总条数一致。
问题分析
最早怀疑是程序问题,但是最后发现程序没问题,然后就把目光聚焦到了一直以为没问题的sql上面。由于我的查询sql最后是用时间来排序的,也就是:order by create_date desc。刚开始,我认为通过时间排序了,已经能保证数据的顺序。但是,当我用了其他几个字段和事件一起做排序,保证每次查询结果集的顺序强一致性,就没有发生过数据丢失或数据重复的问题。
结论
在使用limit进行分页时,一定要保证当前每次查询结果集的顺序一致性。不然可能会出现分页数据顺序不一致,导致分页查询的结果集和期望的结果集不一致
原文: