jdbc statement.executeQuery(sql) 造成内存溢出的解决方法

最新推荐文章于 2024-08-31 07:00:00 发布

ChasingdreamLY

最新推荐文章于 2024-08-31 07:00:00 发布

阅读量4.1k

点赞数

分类专栏： oracle与数据库文章标签：内存溢出 sql jdbc

oracle与数据库专栏收录该内容

7 篇文章 0 订阅

订阅专栏

如果你要读取一个超大的表，使用下面的语句有可能会造成内存溢出：

Statement statement = conn.createStatement(
                    ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
ResultSet rs = statement.executeQuery(sql);

这是因为如果不设置statement的fetchSize的话，mysql驱动默认会将数据全部载入到内存中，所以就会OutOfMemoryError了。

解决的方法有两种，在执行statement.executeQuery(sql);添加下面两行中的一行，即可：

statement.setFetchSize(Integer.MIN_VALUE);
 ((com.mysql.jdbc.Statement)stat).enableStreamingResults();

内存溢出不好查，有时候有点莫名其妙了，编程愉快！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ChasingdreamLY

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

jdbc查询超大数据集内存溢出

silence1214的专栏

11-28

1万+

<br />今天使用jdbc的PreparedStatement查询语句如下：<br /> Class.forName("com.mysql.jdbc.Driver"); String url = "jdbc:mysql://localhost:3306/translate?characterEncoding=utf8"; String sql = "select id, title, search_title, content from article"; Connection conn

jdbc底层驱动加载数据机制之防止内存溢出(2)--oracle

weixin_34281477的博客

04-27

1022

2019独角兽企业重金招聘Python工程师标准>>> ...

1 条评论您还未登录，请先登录后发表或查看评论

JDBC中的execute, executeQuery, 和 executeUpdate方法区别

08-31

4875

在JDBC（Java Database Connectivity）编程中，Statement接口提供了三种主要的方法来执行SQL语句：execute(), executeQuery(), 和 executeUpdate()。这三种方法各有其特定的用途和返回值，理解它们之间的区别对于编写高效、安全的数据库操作代码至关重要。

executeQuery() 内存溢出的解决办法

zhglhy的专栏

04-13

533

内存溢出 OOM

PreparedStatement 查询大容量数据内存溢出解决

iteye_8029的博客

10-27

1015

PreparedStatement ps = con.prepareStatement(sql, ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_READ_ONLY); ResultSet rs = ps.executeQuery(); 在使用PreparedStatement 查询大容量数据时内存溢出,只需在prepar...

mysql prepareStatement executeQuery() 内存溢出的解决办法

wangts的专栏

04-08

4138

1. PreparedStatement ps = con.prepareStatement（"select * from myTableName", ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY）; 2. //ps.setFetchSize

mysql prestatement_mysql prepareStatement executeQuery() 内存溢出的解决办法 | 学步园

weixin_36258720的博客

02-07

538

1. PreparedStatement ps = con.prepareStatement("select * from myTableName",ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);2. //ps.setFetchSize(Integer.MIN_VALUE);3. ResultSet rs = ps.exec...

jdbcTemplate读数据内存溢出

sophie2805的专栏

01-20

4814

最近做Hadoop项目的自动化测试，代码要从hadoop mart里读数据出来，写到.csv文件里。有一个query结果集包含10万+条记录，且每条记录包含30+个列，于是jdbcTemplate华丽丽的内存溢出了。其实论数据量，这个真心不算大… 仔细看了看代码，大概知道了原因，结果集保存在List>这种结构中，而Map是比较消耗内存的，10万+个Map，每个Map30+对key-value…内

SQL注入原理与解决方法代码示例

09-09

2. 解决SQL注入的方法： - **预编译语句（PreparedStatement）**：Java的JDBC提供预编译语句接口，可以有效地防止SQL注入。预编译语句将查询模板与用户输入分开，确保用户输入的数据不会被解释为SQL代码。例如： `...

jdbc.rar_jdbc

09-24

4. **执行SQL语句**：调用Statement或PreparedStatement对象的`executeQuery()`或`executeUpdate()`方法来执行SQL。 5. **处理结果**：如果执行的是查询语句，会返回一个ResultSet对象，我们需要遍历它来获取结果；...

jdbc.rar_WORKING_jdbc

09-24

5. **结果集处理**：使用while循环和ResultSet的next()方法遍历结果集，避免一次性加载所有数据导致内存溢出。 6. **错误处理**：捕获SQLException并处理，了解不同类型的异常代码和含义。 **最佳实践**： - 使用...

使用JDBC从数据库中查询数据的方法

12-15

4. **执行查询**：通过`Statement`对象的`executeQuery(sql)`方法执行SQL查询，这会返回一个`ResultSet`对象，它封装了查询结果。例如： ```java ResultSet rs = statement.executeQuery(sql); ``` 5. **处理...

jdbc读大量数据导致内存溢出

shy_snow的专栏

07-03

1591

jdbc查询大量数据到内存时会导致内存溢出,需要设置结果集只读并分批次获取数据

ResultSet内存溢出OutOfMemory

qq_34412985的博客

03-02

916

我用java中的ResultSet从数据库sql查询读取数据，大概有8000行数据左右，但是在将数据从ResultSet中取出并进行处理时，程序卡在第5000行左右不动了 privatevoidgenerateRptSchemaWithLong(ConnectionfxqCon, Map<String,TFxqBJHReportSchema>fgsReportMap, ...

一天一个java知识（execute，executeQuery，executeUpdate的区别是什么）

AAAhxz的博客

11-17

1055

1，Statement的execute(String query)方法用来执行任意的SQL查询，如果查询的结果是一个ResultSet，这个方法就返回true。如果结果不是ResultSet，比如insert或者update查询，它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet，或者通过getUpdateCount()方法来获取更新的记录条数。 2，Sta...

mysql jdbc内存溢出_jdbc查询大量数据内存溢出的解决方法

weixin_29079643的博客

01-19

1328

当使用jdbc从mysql中查询大量数据时，有可能会导致内存溢出。为了避免这种情况的发生可以对数据库进行分页查询。public static void main(String[] args){String url = "jdbc:mysql://localhost:3306/test";String username = "username";String password = "password...

查询内存溢出

weixin_34184158的博客

06-18

204

首先我们来看一个带排序的查询，点击工具栏的显示包含实际的执行计划。 1 SELECT * FROM AdventureWorks2008R2.Person.Person WHERE FirstName LIKE 'w%' ORDER BY 1 从执行计划里可以看出，SELECT运算符包含了内存授予（Memory Grant）信息（一般情况下不会出现，这里是因为我们的语句包含排序操作...

jdbc底层驱动加载数据机制之防止内存溢出--Mysql

lypeng13的专栏

11-04

812

1.关键对象 connection对象---com.mysql.jdbc.JDBC4Connection,里面有关于mysql的所有配置参数，设置方式通过url附带参数的形式设置 preparedStatement对象--com.mysql.jdbc.ServerPreparedStatement 2.数据结果集读取方式有三种: 一种是流的形式，一次查询，结果集分多次获取，通信一次读一行。也就是while(rs.next)一次从服务器端获取一次结果集数据保存在RowDataCursor.

java-Mysql（一） JDBC

weixin_43835305的博客

09-24

208

java的JDBC基础

现在数据库有1000万数据，如何用java导出，并且不会内存溢出

03-26

可以使用分页查询的方式导出数据，即每次查询一定数量的数据，然后写入到文件中，直到导出全部数据。以下是一个示例代码： ```java import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; public class DataExporter { private static final int PAGE_SIZE = 1000; // 每页数据数量 private static final String FILE_PATH = "data.txt"; // 导出文件路径 public static void main(String[] args) { Connection conn = null; PreparedStatement ps = null; ResultSet rs = null; BufferedWriter bw = null; try { // 连接数据库 Class.forName("com.mysql.jdbc.Driver"); conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "password"); // 准备导出数据的查询语句 String sql = "SELECT * FROM data LIMIT ?, ?"; ps = conn.prepareStatement(sql); // 打开导出文件 bw = new BufferedWriter(new FileWriter(FILE_PATH)); // 导出数据 int start = 0; boolean hasMore = true; while (hasMore) { ps.setInt(1, start); ps.setInt(2, PAGE_SIZE); rs = ps.executeQuery(); hasMore = false; while (rs.next()) { hasMore = true; // 将数据写入文件 bw.write(rs.getString("id")); bw.write("\t"); bw.write(rs.getString("name")); bw.write("\n"); } start += PAGE_SIZE; } System.out.println("导出完成！"); } catch (ClassNotFoundException e) { e.printStackTrace(); } catch (SQLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } finally { // 关闭连接和文件 if (rs != null) { try { rs.close(); } catch (SQLException e) { e.printStackTrace(); } } if (ps != null) { try { ps.close(); } catch (SQLException e) { e.printStackTrace(); } } if (conn != null) { try { conn.close(); } catch (SQLException e) { e.printStackTrace(); } } if (bw != null) { try { bw.close(); } catch (IOException e) { e.printStackTrace(); } } } } } ``` 以上代码使用了分页查询的方式，每次查询一个固定数量的数据并将其写入到文件。这样做可以避免内存溢出。同时也可以使用流式获取数据的方式，通过设置一定的缓冲区大小，逐个获取数据并写入文件。这样做也可以避免内存溢出。