mysql jdbc limit_正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap s...

昨天在项目中需要对日志的查询结果进行导出功能。

日志导出功能的实现是这样的，输入查询条件，然后对查询结果进行导出。由于日志数据量比较大。多的时候，有上亿条记录。

之前的解决方案都是多次查询，然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。

那么能不能一次查询就把所有结果倒出来了？于是我就使用一次查询，不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。

看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大，所以出现OOM问题。

首先我想到的是游标功能。那么是不是可以使用游标，一次从服务器端慢慢的取呢？上网查询了一下，大家都说MySQL不支持游标功能等等。

后来就去看JDBC代码。找到了setFetchSize()方法，结果设置以后，却不能生效，还是出现OOM问题。

我的设置如下

ps=conn.con.prepareStatement("select * from bigTable");

ps.setFetchSize(1000);

后来在MySQL看到了这样的方法：

ps = (PreparedStatement) con.prepareStatement("select * from bigTable",

ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);

ps.setFetchSize(Integer.MIN_VALUE);

ps.setFetchDirection(ResultSet.FETCH_REVERSE);

对此解释是：MySQL JDBC默认客户端数据接收方式为如下：

默认为从服务器一次取出所有数据放在客户端内存中，fetch size参数不起作用，当一条SQL返回数据量较大时可能会出现JVM OOM。

要一条SQL从服务器读取大量数据，不发生JVM OOM，可以采用以下方法之一：

1、当statement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部份数据，直到所有数据处理完毕，不会发生JVM OOM。

setResultSetType(ResultSet.TYPE_FORWARD_ONLY);

setFetchSize(Integer.MIN_VALUE);

2、调用statement的enableStreamingResults方法，实际上enableStreamingResults方法内部封装的就是第1种方式。

3、设置连接属性useCursorFetch=true (5.0版驱动开始支持)，statement以TYPE_FORWARD_ONLY打开，再设置fetch size参数，表示采用服务器端游标，每次从服务器取fetch_size条数据。

设置以后，果然可以解决我的问题。

附上代码：

package com.seven.dbTools.DBTools;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import java.util.ArrayList;

public class JdbcHandleMySQLBigResultSet {

public static long importData(String sql){

String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";

try {

Class.forName("com.mysql.jdbc.Driver");

} catch (ClassNotFoundException e1) {

e1.printStackTrace();

}

long allStart = System.currentTimeMillis();

long count =0;

Connection con = null;

PreparedStatement ps = null;

Statement st = null;

ResultSet rs = null;

try {

con = DriverManager.getConnection(url);

ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,

ResultSet.CONCUR_READ_ONLY);

ps.setFetchSize(Integer.MIN_VALUE);

ps.setFetchDirection(ResultSet.FETCH_REVERSE);

rs = ps.executeQuery();

while (rs.next()) {

//此处处理业务逻辑

count++;

if(count%600000==0){

System.out.println(" 写入到第 "+(count/600000)+" 个文件中！");

long end = System.currentTimeMillis();

}

}

System.out.println("取回数据量为 "+count+" 行！");

} catch (SQLException e) {

e.printStackTrace();

} finally {

try {

if(rs!=null){

rs.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

try {

if(ps!=null){

ps.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

try {

if(con!=null){

con.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

}

return count;

}

public static void main(String[] args) throws InterruptedException {

String sql = "select * from test.bigTable ";

importData(sql);

}

}

原文：https://blog.csdn.net/seven_3306/article/details/9303879