mysql 1000万_MySQL 查询1000万以上数据的解决方案

MySQL 导出大量数据时，如果不做分页限制会直接提示java.lang.OutOfMemoryError: Java heap space，如果使用limit加载全部数据的话，limit在超过一定数据量后性能大幅度下降，不能满足我们的需求。查找文档后找到MySQL的JDBC中fetchSize参数可以解决该问题。

** setFetchSize (int rows) ** ：为 JDBC 驱动程序提供一个提示，它提示此 Statement 生成的 ResultSet 对象需要更多行时应该从数据库获取的行数。

** MysqlExportData.java **

package cn.studyjava;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import cn.studyjava.common.Const;

/**

* MySQL 导出大批量数据(取回数据量为 6504622 行！总计用时：1270/s, 平均每6万用时12/s)

* @author zsljava 2018年1月8日 下午3:44:18

* @since 1.0.0

*/

public class MysqlExportData {

public static long exportData(String sql) {

String url = "jdbc:mysql://localhost:3306/data?user=root&password=XXXX";

try {

Class.forName("com.mysql.jdbc.Driver");

} catch (ClassNotFoundException e1) {

e1.printStackTrace();

}

long allStart = System.currentTimeMillis();

long count = 0;

Connection con = null;

PreparedStatement ps = null;

// Statement st = null;

ResultSet rs = null;

try {

con = DriverManager.getConnection(url);

ps = (PreparedStatement) con.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);

ps.setFetchSize(Integer.MIN_VALUE);

ps.setFetchDirection(ResultSet.FETCH_REVERSE);

// 默认3600 s 的query Timeout(查询超时后自动关闭，因为我们需要流链接，因此不能短时间关闭)

ps.setQueryTimeout(Const.SOCKET_TIMEOUT_INSECOND);

rs = ps.executeQuery();

System.out.println("开始执行");

long oneStart = System.currentTimeMillis();

while (rs.next()) {

// 此处处理业务逻辑

count++;

if (count % 60000 == 0) {

long end = System.currentTimeMillis();

System.out.println(" 写入到第 " + (count / 60000) + " 个文件中, 用时：" + ((end - oneStart) / 1000) + "/s");

oneStart = end;

}

}

long end = System.currentTimeMillis();

System.out.println("取回数据量为 " + count + " 行！总计用时："+((end - allStart)/1000)+"/s");

} catch (SQLException e) {

e.printStackTrace();

} finally {

try {

if (rs != null) {

rs.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

try {

if (ps != null) {

ps.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

try {

if (con != null) {

con.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

}

return count;

}

public static void main(String[] args) throws InterruptedException {

String sql = "select * from company ";

exportData(sql);

}

}

** Const.java **

package cn.studyjava.common;

/**

*

* @author zsljava 2017年12月12日 下午2:22:18

* @since 1.0.0

*/

public class Const {

public static final int SOCKET_TIMEOUT_INSECOND = 172800;

}

** maven pom.xml **

mysql

mysql-connector-java

5.1.43

可以通过MySQL jdbc的fetchSize参数，解决MySQL一次性查询数据量过大时导致内存溢出的问题。 欢迎大家讨论交流

注意：本文归作者所有，未经作者允许，不得转载