JDBC读取数据优化-fetch size

已于 2022-09-15 16:39:09 修改
阅读量3k 收藏 14
点赞数 3
文章标签： java
于 2022-03-30 14:44:34 首次发布
原文链接：https://blog.csdn.net/bisal/article/details/82735614
版权

摘要：

1、通过查询，JDBC是将所有的查询结果一次性放到ResultSet中，还是一次只放一定数目的记录？例如，查询结果为2000条数据，JDBC是一次性将2000条数据放到结果集中，还是分批放置呢？
Answer:首先结果集resultset在你的java程序处。其中有个fetchsize设置，这个表示每次从数据库处取多少条记录到resultset，如果总查询数据量大于fetchsize.则进行分批放置，每次放置fetchsize条数据


2、当通过ResultSet.next()，移动结果集指针时，此时是否还与数据库发生交互？
Answer :此时分两种情况
第一种 交互
如果1个查询有10000条记录，resultset中只有fetchsize条，当next时还会在一定时机去交互
第二种 不发生交互
数据库执行完查询后，已经把所有查询结果交给ResultSet了，以后的操作，和数据库无关。


总结： exquertQuery()不是将查询结果一次性放到ResultSet中, 而是分批放入ResultSet中,一般情况下是每次10条记录,即fetchsize默认为10.
当数据到达第11条时，通过ResultSet.next()，移动结果集指针时，此时还会与数据库发生交互，但是在第1-10条数据时，通过ResultSet.next()移动结果集指针不与数据库发生交互.

最近由于业务上的需求，一张旧表结构中的数据，需要提取出来，根据规则，导入一张新表结构中，开发同学写了一个工具，用于实现新旧结构的transformation，

实现逻辑简单，就是使用jdbc从A表读出数据，做了一些处理，再存入新表B中，发现读取旧表的操作，非常缓慢，无法满足要求。

读取数据的示例代码，

conn = getConnection();
long start = System.currentTimeMillis();
ps = conn.prepareStatement(sql);
rs = ps.executeQuery();
long mid_end = System.currentTimeMillis();
while (rs.next()) {undefined
    list.add(rs.getString(1));
}
long end = System.currentTimeMillis();
rs.close();
System.out.println("Interval1=" + (mid_end - start));
System.out.println("Interval2=" + (end - mid_end));

SQL语句读取10000条记录，其中，

Interval1=160ms
Interval2=29252ms

执行executeQuery()这个SQL检索的时间为160毫秒。

执行10000次rs.next以及rs.getString(1)的用时约为30秒，平均1条记录3毫秒。

如何才能提高读取的效率？

上面读取10000条记录，每一次rs.next时间只有3毫秒，但是由于需要10000次，所以才需要30秒，我们可以猜测，是否有可能每一次rs.next的执行，均需要和数据库交互，因为如果仅是字符串操作，不应该是这个数量级。

看一下官方文档的描述，《Database JDBC Developer’s Guide》有一节介绍了Fetch Size，

By default, when Oracle JDBC runs a query, it retrieves a result set
of 10 rows at a time from the database cursor. This is the default
Oracle row fetch size value. You can change the number of rows
retrieved with each trip to the database cursor by changing the row
fetch size value.
Standard JDBC also enables you to specify the number of rows fetched with each database round-trip for a query, and this number
is referred to as the fetch size. In Oracle JDBC, the row-prefetch
value is used as the default fetch size in a statement object.
Setting the fetch size overrides the row-prefetch setting and
affects subsequent queries run through that statement object.
Fetch size is also used in a result set. When the statement object run a query, the fetch size of the statement object is
passed to the result set object produced by the query. However, you
can also set the fetch size in the result set object to override
the statement fetch size that was passed to it.
Changes made to the fetch size of a statement object after a result set is produced will have no affect on that result set.

JDBC默认每执行一次检索，会从游标中提取10行记录，10就是默认的row fetch size值，通过设置row fetch size，可以改变每次和数据库交互，提取出来的记录行总数。需要注意的是，需要在获得检索结果集之前，设置fetch size，否则就是无效。

可以使用如下方法设置，

Setting the Fetch Size

The following methods are available in all
Statement, PreparedStatement, CallableStatement, and ResultSet objects
for setting and getting the fetch size:

  • void setFetchSize(int rows) throws SQLException
  • int getFetchSize() throws SQLException

简单来讲，Fetch相当于读缓存，默认Fetch Size值是10，读取10000条记录，一次数据库交互，即rs.next的操作，ResultSet会一次性从数据库服务器，得到10条记录，下次执行rs.next，就直接使用内存读取，不用和数据库交互了，但总计需要有1000次交互，如果使用setFetchSize设置Fetch Size为10000，则只需要一次数据库交互，本地缓存10000条记录，每次执行rs.next，只是内存操作，不会有数据库网络消耗，效率就会高些。但需要注意的是，Fetch Size值越高则占用内存越高，要避免出现OOM错误。

方案1：

rs = ps.executeQuery();
rs.setFetchSize(10000);

即在执行ps.executeQuery()之后，对rs设置值10000，统计如下，

执行executeQuery()这个SQL检索的时间为174毫秒。

执行10000次rs.next以及rs.getString(1)的用时约为190毫秒。

相比之前执行10000次rs.next，用了30秒，提高了将近150倍。

方案2：

ps = conn.prepareStatement(sql);
ps.setFetchSize(10000);

即在执行conn.prepareStatement(sql)之后，执行ps.executeQuery()之前，对rs设置值为10000范围，统计如下，

执行executeQuery()这个SQL检索的时间为267毫秒。

执行10000次rs.next以及rs.getString(1)的用时约为87毫秒。

相比方案2，总用时几乎一致，但SQL执行和rs.next遍历的用时，有些区别。

针对方案1，

After you have run the query, you can call setFetchSize on the result
set object to override the statement object fetch size that was passed
to it. This will affect any subsequent trips to the database to get
more rows for the original query, as well as affecting any later
refetching of rows.

执行查询之后，对结果集设置setFetchSize，会影响任何接下来的数据库交互过程获得更多的记录行数，以及之后的fetch提取。

针对方案2，

To set the fetch size for a query, call setFetchSize on the statement
object prior to running the query. If you set the fetch size to N,
then N rows are fetched with each trip to the database.

执行查询之前，设置setFetchSize，表示每次和数据库交互，得到记录行数。

综上所述，建议执行SQL之前，设置此值，效率提升最高。

对于PrepareStatement、ResultSet和Statement，均有这一个方法，有一点出入的，就是默认值设置(0)，从代码中使用getFetchSize()，得到的值均为10，不知道是我理解错了，还是有其他含义？欢迎各位指教。

PrepareStatement

  • setFetchSize

void setFetchSize(int rows)
throws SQLException

Gives the JDBC driver a hint as to the number of rows that should be
fetched from the database when more rows are needed for
ResultSetobjects generated by this Statement. If the value specified
is zero, then the hint is ignored. The default value is zero.

Parameters:

rows - the number of rows to fetch

Throws:

SQLException - if a database access error occurs, this method is
called on a closed Statement or the condition rows >= 0 is not
satisfied.

Since:

1.2

See Also:

getFetchSize()

ResultSet

  • setFetchSize

void setFetchSize(int rows)
throws SQLException Gives the JDBC driver a hint as to the number of rows that should be fetched from the database when more rows
are needed for this ResultSet object. If the fetch size specified is
zero, the JDBC driver ignores the value and is free to make its own
best guess as to what the fetch size should be. The default value is
set by the Statement object that created the result set. The fetch
size may be changed at any time.

Parameters:

rows - the number of rows to fetch

Throws:

SQLException - if a database access error occurs; this method is
called on a closed result set or the condition rows >= 0 is not
satisfied

Since:

1.2

See Also:

getFetchSize()

Statement

  • setFetchSize

void setFetchSize(int rows)
throws SQLException Gives the JDBC driver a hint as to the number of rows that should be fetched from the database when more rows
are needed for ResultSetobjects generated by this Statement. If the
value specified is zero, then the hint is ignored. The default value
is zero.

Parameters:

rows - the number of rows to fetch

Throws:

SQLException - if a database access error occurs, this method is
called on a closed Statement or the condition rows >= 0 is not
satisfied.

Since:

1.2

See Also:

getFetchSize()

总结：

  1. Fetch相当于读缓存，如果使用setFetchSize设置Fetch Size为10000，本地缓存10000条记录，每次执行rs.next，只是内存操作，不会有数据库网络消耗，效率就会高些。但需要注意的是，Fetch Size值越高则占用内存越高，要避免出现OOM错误。

  2. 建议执行SQL语句之前设置，即ps.executeQuery();之前使用setFetchSize()函数设置。

潜心学徒
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hibernate-性能优化
06-15
- **fetch_size**：设置合理的 fetch_size 可以控制一次性加载的数据量，避免大数据量导致内存溢出。 - **连接池配置**：使用合适的连接池，如 C3P0 或 HikariCP，调整连接池大小和超时设置。 5. **映射文件优化*...
ClouderaImpala_JDBC-2.6.18.1021
04-27
Cloudera Impala JDBC驱动程序是连接Java应用程序到Cloudera Impala数据仓库的重要组件。Cloudera Impala是一款开源的、MPP（大规模并行处理）查询引擎，专为在Hadoop生态系统中进行实时分析而设计。它与HDFS...
通过setFetchSize解决jdbc查询性能问题，附面试答案
2401_84102653的博客
04-11 448
分享一些资料给大家，我觉得这些都是很有用的东西，大家也可以跟着来学习，查漏补缺。《Java高级面试》《Java高级架构知识》《算法知识》一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
对于JDBC查询数据库时，fetchSize属性用于设置ResultSet的每次读取记录数
qq_39691381的博客
08-18 719
对于JDBC查询数据库时，fetchSize属性用于设置ResultSet的每次读取记录数。总之，设置合适的fetchSize属性可以在查询大结果集时优化性能和减少内存占用。
【数据库】聊聊数据库中的 fetchsize 参数
书山有路，学海无涯。记录成长，追逐梦想
01-17 2285
缺省时，驱动程序一次从查询里获取所有的结果。这样可能对于大的数据集来说是不方便的， 因此 JDBC 驱动提供了一个用于设置从一个数据库游标抽取若干行的 ResultSet 的方法。在连接的客户端这边缓冲了一小部分数据行，并且在用尽之后， 则通过重定位游标检索下一个数据行块。
jdbc，mybatis中fetchsize使用，批处理方案
热门推荐
FOREVER_DO
08-18 2万+
数据库优化之查询优化，fetchsize使用，常用sql
mybatis查询postgre，fetchSize失效排查记录
xx244的博客
10-11 1267
下级入口DataSourceUtils.getConnection(this.dataSource);下级入口queryFromDatabase–>getConnection。在此处已可查看获取到的数据库连接，自动提交为true。下级入口executor.query。
ResultSet滚动模式设置fetchSize无效
编程技术分享，Java后端、Vue前端
03-24 1575
资料一：何意？ 经过测试发现，假如库中有1w条数据，设置fetchSize=100,返回的结果仍然是1w，起不到分页的作用呀？？？ 使用ResultSet游标处理记录替代数据库层分页处理的方式,将游标的打开方式设置为FORWARD_READONLY模式, 使用ResultSet游标处理实际执行时间比数据库层分页处理方式快2倍。 代码如下(例)： String sql=“select * from xxx”; PreparedStatement pstmt=conn.prepareStatement.
连接各种数据的---- jdbc典型代码
09-28
- 适当设置Statement的fetchSize，优化结果集读取。 - 使用连接池管理数据库连接，避免频繁创建和关闭。 - 注意异常处理，确保资源正确关闭。 - 在不需要时关闭结果集、Statement和Connection，避免资源泄露。 通过...
JDBC数据库
11-14
3. **设置合适的缓冲大小**：调整`ResultSet`的fetch size，减少网络传输。 4. **使用CallableStatement执行存储过程**：高效执行数据库的复杂操作。 5. **使用数据库的特性**：如索引、视图、分区等，提升查询...
java读取*.mdb文件数据
08-14
在Java中，可以通过设置Statement的fetchSize属性来实现分页。例如，如果你想每页显示10条记录，可以这样做： ```java Statement stmt = conn.createStatement(); stmt.setFetchSize(10); ResultSet rs = stmt....
【PostgreSql】解决postgresql设置fetchsize也无法流查询的思路及方案
dkz97的博客
11-06 4006
前言 最近公司有一个客户是使用PostgreSql来存储数据的，然后在导出功能中，发现在大数据的情况下，内存会一直增长直至内存溢出。因为按道理导出功能是设置了fetchSize来进行流查询了，按道理是不会内存溢出的。然后排查发现，获取数据是全部获取了，那肯定会内存溢出了。 目录 1、排查思路 2、解决过程 3、源码解析 ...
记一次oracle查询慢的解决方案-FetchSize
pengzehao163的博客
05-08 2716
案例场景： 通过mybatis和jdbc查询一张oracle的表（8000数据量），需要30秒，直接使用navicat只需要2.7秒，表的字段并不多（14个），也没有blob等大型字段 案例分析： 因为navicat查询不慢，所以可以排除网络原因，初步判断为java代码的问题 案例结论： mybatis的配置defaultFetchSize默认为10,字段简单概括意思是每查到10条数据就会和oracle有一次交互，查询8000条数据就会有800次交互，非常的消耗时间。 ...
JDBC ResultSet setFetchSize
FireCoder的专栏
02-01 4621
  Connection conn = null; ResultSet rs = null; PreparedStatement stmt = null; try { conn = dbMgr.getConnection(); stmt = conn.prepareSta
Mysql大数据量下流式查询优化：Jdbc中的useFetchSize参数及其原理解析
Java技术干货
01-06 1377
前言最近我朋友公司有个需求场景：查询千万级数据量并写入txt文件的程序优化需求。朋友找到我对程序进行优化， 不然饭碗不保......????下面就分享一下解决这个优化问题的过程和思路，并总结一下，在以后不要在踩同样的坑。现象描述在查询千万级数据量并生成txt文件，出现以下2个问题1.由于数据量巨大，直接导致JVM的堆内存满， 程序出现假死状态，频繁的full GC, 同时服务器CPU 100%2. 程...
通过setFetchSize解决jdbc查询性能问题
wx的博客
08-24 2511
记通过setFetchSize解决性能问题的方式题问题回顾原理探究 问题回顾 问题是这样的，这两天有个项目一直在实施阶段，然后项目上就反馈说，啊，你们东西怎么这么慢啊，这才刚开始啊…然后我就开始了排查： 通过logger记录的日志的各个阶段的耗时来看，目前性能瓶颈主要体现在JdbcTemplate.query上了 常规手段，先确认物理表中的数据量+查询语句+查询数据量+索引 确认了一圈，物理表里一共1.4W条记录，本次查询8200多条记录，一共耗时2.5秒左右 这就很离谱了，因为我们是内网环境重现问题，网
MySQL JDBC FetchSize解析
weixin_34255793的博客
10-14 553
根据http://boylook.blog.51cto.com/7934327/1298634提到MySQL JDBC的fetchsize问题. 在MySQl官方文档里只提到了streaming模式和fetchALL两种模式，那么是不是就没有中间的状态呢？首先是看Java JDBC的API查看setFetchSize:setFetchSize(int rows) Give...
Java内存模型
最新发布
weixin_44267758的博客
07-19 309
此处的变量不是指java编程中的变量，它包括了实例字段，静态字段和构成数值对象的元素，但不包括局部变量和方法参数。JMM规定所有变量都存储在主内存中。每条线程有自己的工作内存，工作内存中保留了该线程使用到变量的主内存的副本。线程对变量的所有操作都必须在工作内存中进行，不能直接读写主内存的变量，不同的线程间也无法直接访问对方工作内存的变量，线程之间的变量值传递需要通过主内存来完成。
sqoop fetch-size
06-12
Sqoop fetch-size是用于设置Sqoop导入数据时的每次获取数据的大小。它指定了从数据源读取数据的行数，然后将这些行作为一个批次传输到目标数据库。通过设置适当的fetch-size，可以提高Sqoop导入数据的效率，减少网络流量和数据库负载。默认情况下，fetch-size的值为1000。可以通过使用Sqoop命令行选项"--fetch-size"来设置fetch-size的值，例如：sqoop import --connect jdbc:mysql://localhost/mydatabase --username myuser --password mypassword --table mytable --fetch-size 5000。这将设置fetch-size为5000，表示每次从数据源读取5000行数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值