Java使用jdbc数据库批量插入、查询 setFetchSize

将大批量数据插入到 数据库 中,用preparedstatement.executeBatch();来做,
这样可以减少与 数据库 间的交互,
不仅仅只是单纯用addBatch()和executeBatch()就行了,还需要将conn.setAutoCommit(false),
这样关闭自动事务提交,也可以减少交互。
还需注意addBatch()到一定次数是要及时提交,否则容易发生内存溢满的问题。
try {
   String url = "jdbc:oracle:thin:@IP:1521:orcl"; // orcl为数据库的SID
   String user = "oracle";
   String password = "oracle";
   StringBuffer sql = new StringBuffer();
   sql.append("insert into ex_log (EX_LOG_ID,EX_LOG_DATE) values (?,?)");
   Class.forName("oracle.jdbc.driver.OracleDriver");
   Connection con = (Connection) DriverManager.getConnection(url,user,password);
   // 关闭事务自动提交
   con.setAutoCommit(false);
   final int batchSize = 10000;
   int count = 0;
   Long startTime = System.currentTimeMillis();
   PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
   for (int i = 0; i < list.size(); i++) {
    ExLog exLog = (ExLog)list.get(i);
    pst.setString(1, exLog.getExLogId());
    pst.setString(2, exLog.getExLogDate());
    // 把一个SQL命令加入命令列表
    pst.addBatch();
    if(++count % batchSize == 0 ){
        pst.executeBatch();
        count = 0;
    }
   }
   // 执行批量更新
   pst.executeBatch();
   // 语句执行完毕,提交本事务
   con.commit();
   Long endTime = System.currentTimeMillis();
   System.out.println("用时:" + (endTime - startTime));
   pst.close();
   con.close();
  } catch (ClassNotFoundException e) {
   e.printStackTrace();
  } catch (SQLException e) {
   e.printStackTrace();
  }

 

查询:

    @Test
    public void testReadTimeout() throws SQLException {
        Connection connection = dataSource.getConnection();
        //https://jdbc.postgresql.org/documentation/head/query.html
        connection.setAutoCommit(false); //NOTE 为了设置fetchSize,必须设置为false

        String sql = "select * from demo_table";
        PreparedStatement pstmt;
        try {
            pstmt = (PreparedStatement)connection.prepareStatement(sql);
            pstmt.setFetchSize(50); 
            System.out.println("ps.getQueryTimeout():" + pstmt.getQueryTimeout());
            System.out.println("ps.getFetchSize():" + pstmt.getFetchSize());
            System.out.println("ps.getFetchDirection():" + pstmt.getFetchDirection());
            System.out.println("ps.getMaxFieldSize():" + pstmt.getMaxFieldSize());

            ResultSet rs = pstmt.executeQuery(); 
            //NOTE 这里返回了就代表statement执行完成,默认返回fetchSize的数据
            int col = rs.getMetaData().getColumnCount();
            System.out.println("============================");
            while (rs.next()) { 
                for (int i = 1; i <= col; i++) {
                    System.out.print(rs.getObject(i));
                }
                System.out.println("");
            }
            System.out.println("============================");
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            //close resources
        }
    }

参考:https://www.jianshu.com/p/998099e364b2

https://blog.csdn.net/zhangw1236/article/details/54583192

 

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用JDBC处理大结果集时,可能会遇到Java堆空间不足的问题。这通常发生在结果集太大,无法一次性加载到内存中时。为了解决这个问题,可以使用MySQL JDBCsetFetchSize()方法。 setFetchSize()方法是JDBC API的一部分,用于设置从数据库中获取行的数量。默认情况下,JDBC会将所有行一次性加载到内存中。但是,通过设置fetchSize,可以控制JDBC在内存中缓存的行的数量。 以下是使用setFetchSize()方法来解决JDBC处理大结果集的示例代码: ```java import java.sql.*; public class JdbcExample { public static void main(String[] args) throws Exception { String url = "jdbc:mysql://localhost:3306/mydatabase"; String user = "myuser"; String password = "mypassword"; Connection conn = DriverManager.getConnection(url, user, password); Statement stmt = conn.createStatement(); String sql = "SELECT * FROM mytable"; stmt.setFetchSize(100); // 设置每次获取100行结果 ResultSet rs = stmt.executeQuery(sql); while (rs.next()) { // 处理结果 } rs.close(); stmt.close(); conn.close(); } } ``` 在上面的示例代码中,我们将每次获取100行结果,这样就可以避免将所有结果一次性加载到内存中,从而避免Java堆空间不足的问题。 需要注意的是,setFetchSize()方法不是所有JDBC驱动程序都支持的。如果你的驱动程序不支持这个方法,那么你需要使用其他方法来处理大结果集,例如使用分页查询或者将结果写入文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值