mysql游标处理大批量数据问题

  今天在类MYSQL数据库使用游标(spring的jdbcTemplate)读取大批量数据(几百万)的时候，发现系统的内存飙升，一直到内存溢出，而程序并没有执行到具体的处理逻辑上。

  同样的程序，在ORACLE是可以正常执行的，所以可以确定程序本身是没问题的，但MYSQL的处理是将数据全部读取出来后才做处理。

源程序如下，test表500w，类MYSQL数据库直接执行，直到内存溢出都不会打印出东西：

jdbcTemplate.query("select * from test", rs->{
  System.out.println(rs);
});

解决办法：

jdbcTemplate.setFetchSize(Integer.MIN_VALUE);

在查询前，设置上fetchSize，就可以游标正常处理数据了。

注：

后面网上找了下，一共有3种方法可以使用：

1、当statement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部份数据，直到所有数据处理完毕，不会发生JVM OOM

setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE); 

2、调用statement的enableStreamingResults方法。封装了第一种方法的实现

3、设置连接属性useCursorFetch=true

转载于:https://www.cnblogs.com/yjcblog/p/10272118.html