批量查询数据库

本文探讨了在数据库操作中,特别是面对大量数据查询时,JDBC的处理方式。默认情况下,MySQL和postgresql会一次性返回所有数据,而某些分布式数据库如采用分批返回。JDBC提供了setFetchSize方法来定制每次拉取的数据量,以避免内存溢出。在Java中,设置fetchSize应在executeQuery()之前,而在查询后设置可能无效。对于Python,可以通过设置cursor的fetchsize属性来控制返回数据的数量。
摘要由CSDN通过智能技术生成

在向数据库中插入数据时,如果插入过于频繁的话,我们都知道使用批量插入,也即是使用addBatch方法。

那么如果一次查询操作返回的数据量很大,JDBC的方式是一次返回部分数据,就像是流处理那样;还是一次返回全部的数据?

经过简单的调研,发现mysql 和 postgresql都是默认返回全量数据,一些分布式数据库默认返回部分数据,比如说默认返回100条数据,当对这部分数据操作完成后再去数据拉取100条,以此类推,一直到取出全部数据,也就是说内存中最多只有100条数据,不会出现把内存撑爆的现象。

当然JDBC中有这样的方法进行设置,setFetchSize(num),num就是你所想要的每次拉取的数据条数,但是使用中发现这个方法在不同的类中都有,如下

其中这两种设置的区别,我不敢置喙,可自行查阅资料进行区分。

可以参考博客 https://blog.csdn.net/bisal/article/details/82735614

但根据我所了解的使用第一种方法较为稳妥,也即是

pst.setFetchSize(100);

因为在此时设置了fetchSize之后,才进行executeQuery() 方法进行查询操作

而第二种方式是进行查询操作之后,对结果集ResultSet进行

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值