mysql jdbc内存溢出_jdbc查询大量数据内存溢出的解决方法

当使用jdbc从mysql中查询大量数据时,有可能会导致内存溢出。为了避免这种情况的发生可以对数据库进行分页查询。

public static void main(String[] args){

String url = "jdbc:mysql://localhost:3306/test";

String username = "username";

String password = "password";

int data_num = 0;

try {

Class.forName("com.mysql.jdbc.Driver");

Connection con = DriverManager.getConnection(url, username,

password);

String sql = "SELECT ID,NAME FROM table_name limit ?,?";

PreparedStatement pst = con.prepareStatement(sql);

int pageSize = 10000;

int pageId = 0;

do {

pst.setInt(1, pageId * pageSize);

pst.setInt(2, pageSize);

ResultSet rs = pst.executeQuery();

boolean isEmpty = true;

while (rs.next()) {

isEmpty = false;

id = rs.getLong(1);

name = rs.getString(2);

data_num++;

}

if (isEmpty) {

break;

}

pageId++;

} while (true);

con.close();

} catch (SQLException se) {

se.printStackTrace();

}

利用上述的代码可以对数据库表进行遍历处理。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
可以使用分页查询的方式导出数据,即每次查询一定数量的数据,然后写入到文件中,直到导出全部数据。以下是一个示例代码: ```java import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; public class DataExporter { private static final int PAGE_SIZE = 1000; // 每页数据数量 private static final String FILE_PATH = "data.txt"; // 导出文件路径 public static void main(String[] args) { Connection conn = null; PreparedStatement ps = null; ResultSet rs = null; BufferedWriter bw = null; try { // 连接数据库 Class.forName("com.mysql.jdbc.Driver"); conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "password"); // 准备导出数据查询语句 String sql = "SELECT * FROM data LIMIT ?, ?"; ps = conn.prepareStatement(sql); // 打开导出文件 bw = new BufferedWriter(new FileWriter(FILE_PATH)); // 导出数据 int start = 0; boolean hasMore = true; while (hasMore) { ps.setInt(1, start); ps.setInt(2, PAGE_SIZE); rs = ps.executeQuery(); hasMore = false; while (rs.next()) { hasMore = true; // 将数据写入文件 bw.write(rs.getString("id")); bw.write("\t"); bw.write(rs.getString("name")); bw.write("\n"); } start += PAGE_SIZE; } System.out.println("导出完成!"); } catch (ClassNotFoundException e) { e.printStackTrace(); } catch (SQLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } finally { // 关闭连接和文件 if (rs != null) { try { rs.close(); } catch (SQLException e) { e.printStackTrace(); } } if (ps != null) { try { ps.close(); } catch (SQLException e) { e.printStackTrace(); } } if (conn != null) { try { conn.close(); } catch (SQLException e) { e.printStackTrace(); } } if (bw != null) { try { bw.close(); } catch (IOException e) { e.printStackTrace(); } } } } } ``` 以上代码使用了分页查询的方式,每次查询一个固定数量的数据并将其写入到文件。这样做可以避免内存溢出。同时也可以使用流式获取数据的方式,通过设置一定的缓冲区大小,逐个获取数据并写入文件。这样做也可以避免内存溢出

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值