需求:定时将oracle视图中数据同步到mysql,再将数据生成sqlite.db进行下发
数据量:800W
常规处理方式:使用分页查询oracle中表数据
SQL:
处理慢原因:这个需要从rownum说起,因为rownum是一个伪列,对于返回数据的结果都是从1开始的,即我想查第100到200条记录,rownum标记会移动到200,数据量越大移动的就越多,这是导致查询慢的原因
优化方法:
解释:利用rownum有序自增的编号,将数据按10000条1段分成若干段,取到该段内的最大ID与最小ID进行查询,其中ID列为索引列。这样只有在分段查询时会消耗一点时间,之后再按照区间ID循环同步数据,时间消耗都是一定的,不会出现越查越慢的问题。
由mysql到sqlite分段SQL: