正确使用MySQL JDBC setFetchSize() setMaxRows()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space

http://www.tuicool.com/articles/UrUjEb

http://blog.csdn.net/seven_3306/article/details/9303879

这篇文章实在是太好了,禁不住复制粘贴在这里

昨天在项目中需要对日志的查询结果进行导出功能。

日志导出功能的实现是这样的，输入查询条件，然后对查询结果进行导出。由于日志数据量比较大。多的时候，有上亿条记录。

之前的解决方案都是多次查询，然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。

那么能不能一次查询就把所有结果倒出来了？于是我就使用一次查询，不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。

看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大，所以出现OOM问题。

首先我想到的是游标功能。那么是不是可以使用游标，一次从服务器端慢慢的取呢？上网查询了一下，大家都说MySQL不支持游标功能等等。

后来就去看JDBC代码。找到了setFetchSize()方法，结果设置以后，却不能生效，还是出现OOM问题。

我的设置如下

ps=conn.con.prepareStatement("select * from bigTable");
 ps.setFetchSize(1000);

后来老大在MySQL看到了这样的方法：

ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
          ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
      ps.setFetchSize(Integer.MIN_VALUE);
      ps.setFetchDirection(ResultSet.FETCH_REVERSE);

设置以后，果然可以解决我的问题。

附上代码：

package com.seven.dbTools.DBTools;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;

public class JdbcHandleMySQLBigResultSet {

  public static long importData(String sql){
    String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
    try {
      Class.forName("com.mysql.jdbc.Driver");
    } catch (ClassNotFoundException e1) {
      e1.printStackTrace();
    }
    long allStart = System.currentTimeMillis();
    long count =0;

    Connection con = null;
    PreparedStatement ps = null;
    Statement st = null;
    ResultSet rs = null;
    try {
      con = DriverManager.getConnection(url);
      
      ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
                  ResultSet.CONCUR_READ_ONLY);
            
      ps.setFetchSize(Integer.MIN_VALUE);
      
      ps.setFetchDirection(ResultSet.FETCH_REVERSE);

      rs = ps.executeQuery();


      while (rs.next()) {
        
        //此处处理业务逻辑
        count++;
        if(count%600000==0){
          System.out.println(" 写入到第  "+(count/600000)+" 个文件中！");
          long end = System.currentTimeMillis();
        }
        
      }
      System.out.println("取回数据量为  "+count+" 行！");
    } catch (SQLException e) {
      e.printStackTrace();
    } finally {
      try {
        if(rs!=null){
          rs.close();
        }
      } catch (SQLException e) {
        e.printStackTrace();
      }
      try {
        if(ps!=null){
          ps.close();
        }
      } catch (SQLException e) {
        e.printStackTrace();
      }
      try {
        if(con!=null){
          con.close();
        }
      } catch (SQLException e) {
        e.printStackTrace();
      }
    }
    return count;

  }

  public static void main(String[] args) throws InterruptedException {

    String sql = "select * from test.bigTable ";
    importData(sql);

  }

}

最近对JDBC有了进一步的了解。关于JDBC，推荐我的另一篇文章，用于解决不写文件，从Java IO流中直接导入数据到MySQL：

Java不写文件，LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现 http://blog.csdn.net/chenyechao/article/details/9237495

推荐另外两篇来自 阿里巴巴 叶正盛的文章我转载的：

关于oracle与mysql官方jdbc的一些区别

http://blog.csdn.net/chenyechao/article/details/9303979    

这篇文章是我解决问题以后才看到的，上面已经说明了MySQL JDBC的setFetchSize的使用。