这篇文章主要讲解 如何从数据库加载1000w数据
加载大量数据
例子:将1000w的数据从数据库导入到redis中
在mysql中的实现方法:1、limit 分页 2、游标
limit 分页
问题:
当offset很大时,mysql需要做大量的文件排序操作,很影响性能。可以加上合适的 order by 子句,效率会有所改善。
游标
问题:
默认mysql驱动加载游标数据是一次性把所有数据cache到java内存中,那么1000w的数据会导致java堆栈溢出。
在这里,我们可以在jdbc.url 添加一些参数来解决java堆栈溢出问题。
jdbc:mysql://xxx.xxx.xxx.xxx:3306/test?useUnicode=true&characterEncoding=UTF-8&useCursorFetch=true&defaultFetchSize=1000
- useCursorFetch:表示使用游标获取
- defaultFetchSize:表示每次游标获取的大小
这两个参数主要针对mysql驱动版本在5.0.2以上可使用。
在oracle中是不需要使用这两个参数,因为oracle jdbc驱动默认实现是不将数据直接cache到java内存,在oracle 也可以直接使用分页
使用spring-batch需要注意的问题
在使用spring-batch的JdbcCursorItemReader时,这个类默认会去校验cursor的位置,那么我们需要设置不校验
reader.setVerifyCursorPosition(false);