Java使用SQLServerBulkCopy实现数据库批量操作

Microsoft SQL Server 的bcp命令可以快速将大型文件复制插入到数据库中,C#提供了SqlBulkCopy方法实现该功能,而在java中可以通过SQLServerBulkCopy类实现类似的功能,且相对于insert、update等命令来说,这个类的效率要高的多。(对比常用的JDBC的Batch方法也高的多)。

SQLServerBulkCopy类只能用于对SQL Sever数据库的插入,但是数据来源可以不是SQL Sever数据库。旧版的Microsoft SQL Server JDBC 驱动并没有提供这个类,需要下载Microsoft SQL Server JDBC 驱动程序 6.0版本:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=11774。MS官方的说明文档在这个地址:https://docs.microsoft.com/en-us/sql/connect/jdbc/using-bulk-copy-with-the-jdbc-driver。

SQLServerBulKCopy类向数据库插入数据支持三种类型封装的数据:Java本身提供的ResultSet、RowSet和JDBC提供的ISQLServerBulkRecord接口实现类。下面提供一种实现:

 /**
     * 获取空的CachedRowSet对象
     * 其中BaseDao为最常见的JDBC操作,这里就不贴出,相信大家看的懂
     * @throws SQLException
     */
    public CachedRowSetImpl getCachedRowSet() throws SQLException{
        //查询出空值用于构建CachedRowSetImpl对象以省去列映射的步骤
        ResultSet rs = baseDao.executeSQL("select * from FactMonthTimeTable where 1=0");
        CachedRowSetImpl crs = new CachedRowSetImpl();
        crs.populate(rs);
        //获取crs以后关闭数据库连接
        baseDao.closeResource();
        return crs;
    }

    /**
     * 向CachedRowSet对象插入一条数据
     * 循环调用这一个方法,将想插入数据库的数据先插入到CachedRowSet对象里
     * @param crs
     * @param fmt
     * @return
     * @throws SQLException
     */
    public CachedRowSetImpl insertIntoCachedRowSet(CachedRowSetImpl crs,Student stu) throws SQLException{
        //移动指针到“插入行”,插入行是一个虚拟行
        crs.moveToInsertRow();
        //更新虚拟行的数据
        crs.updateString("name", stu.getName());
        crs.updateInt("id", stu.getId());
        //插入虚拟行
        crs.insertRow();
        //移动指针到当前行
        crs.moveToCurrentRow();
        return crs;
    }

    /**
     * 使用BulkCopy和RowSet进行批量插入
     * @param crs
     * @param batchSize
     */
    public void insertBatch(CachedRowSetImpl crs,int batchSize)throws SQLException{
        //数据库连接字符串
        String url = "jdbc:sqlserver://localhost:1433;DatabaseName=datebaseName"
                         +";user=userName;password=userPassword";
        SQLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
        copyOptions.setKeepIdentity(true);
        copyOptions.setBatchSize(8000);
        copyOptions.setUseInternalTransaction(true);
        SQLServerBulkCopy bulkCopy =
                new SQLServerBulkCopy(connectionUrl);
        bulkCopy.setBulkCopyOptions(copyOptions);
        bulkCopy.setDestinationTableName("tableName");
        bulkCopy.writeToServer(crs);
        crs.close();
        bulkCopy.close();
    }

 

  • 3
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: 在 Java实现批量操作数据库,可以使用 JDBC 中的批处理功能。 批处理允许您在单个事务中执行多个 SQL 语句,这样可以大大提高执行效率。 要使用批处理功能,需要使用 `Statement` 或 `PreparedStatement` 对象。 例如,使用 `Statement` 对象时,可以这样做: ```java Connection conn = DriverManager.getConnection(...); Statement stmt = conn.createStatement(); stmt.addBatch("INSERT INTO table1 VALUES (1, 'value1')"); stmt.addBatch("INSERT INTO table1 VALUES (2, 'value2')"); stmt.addBatch("INSERT INTO table1 VALUES (3, 'value3')"); int[] updateCounts = stmt.executeBatch(); ``` 使用 `PreparedStatement` 对象时,可以这样做: ```java Connection conn = DriverManager.getConnection(...); PreparedStatement pstmt = conn.prepareStatement("INSERT INTO table1 VALUES (?, ?)"); pstmt.setInt(1, 1); pstmt.setString(2, "value1"); pstmt.addBatch(); pstmt.setInt(1, 2); pstmt.setString(2, "value2"); pstmt.addBatch(); pstmt.setInt(1, 3); pstmt.setString(2, "value3"); pstmt.addBatch(); int[] updateCounts = pstmt.executeBatch(); ``` 注意,在执行批处理操作时,需要注意数据库的事务处理。通常情况下,在执行批处理操作之前,应该将数据库设置为自动提交模式(即 `conn.setAutoCommit(true)`),这样批处理中的每个语句都会立即被执行。如果您希望在批处理中使用事务,则应该将数据库设置为手动 ### 回答2: 在Java中,可以使用JDBC(Java Database Connectivity)来实现批量操作数据库。 首先,我们需要连接到数据库。可以使用JDBC提供的`Connection`接口来建立与数据库的连接。通过该接口的`getConnection`方法,可以指定数据库的URL、用户名和密码来获取一个数据库连接对象。 接下来,我们可以使用`Statement`或`PreparedStatement`接口来执行SQL语句。如果我们要执行多个SQL语句,可以使用`addBatch`方法将要执行的SQL语句添加到批处理中。 然后,使用`executeBatch`方法来执行批处理中的所有SQL语句。该方法会返回一个整数数组,表示每个SQL语句的执行结果或影响的行数。 最后,通过`commit`方法提交事务并将对数据库的更改持久化。如果需要回滚事务,可以使用`rollback`方法。 以下是一个简单示例,演示了如何使用Java进行批量操作数据库: ```java import java.sql.*; public class BatchOperationExample { public static void main(String[] args) { try { // 连接到数据库 Connection connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydatabase", "username", "password"); // 创建批处理对象 Statement statement = connection.createStatement(); // 添加SQL语句到批处理 statement.addBatch("INSERT INTO mytable (name, age) VALUES ('John', 25)"); statement.addBatch("UPDATE mytable SET age = 30 WHERE name = 'Tom'"); statement.addBatch("DELETE FROM mytable WHERE name = 'Alice'"); // 执行批处理 int[] results = statement.executeBatch(); // 提交事务 connection.commit(); // 输出执行结果 for (int result : results) { System.out.println("影响的行数:" + result); } // 关闭连接 connection.close(); } catch (SQLException e) { e.printStackTrace(); } } } ``` 上述代码中,我们首先通过`getConnection`方法获取了一个数据库连接对象,然后创建了一个`Statement`对象用于批处理。接下来,我们添加了三个SQL语句到批处理中,并使用`executeBatch`方法执行批处理。最后,我们输出了每个SQL语句的执行结果,并使用`commit`方法提交了事务。最后,我们关闭了数据库连接。 通过这样的方式,我们可以在Java实现批量操作数据库。 ### 回答3: 在Java实现批量操作数据库可以通过使用批量处理语句和事务处理来实现。 1. 使用批量处理语句:Java中的JDBC提供了批量处理语句,可以将多个SQL语句一次性发送给数据库进行执行,从而实现批量操作数据库。以下是一个示例代码: ```java // 创建数据库连接 Connection conn = DriverManager.getConnection(url, username, password); // 关闭自动提交 conn.setAutoCommit(false); // 创建批量处理语句对象 Statement stmt = conn.createStatement(); // 添加SQL语句到批量处理 stmt.addBatch("INSERT INTO table_name (column1, column2) VALUES (value1, value2)"); stmt.addBatch("UPDATE table_name SET column1 = value1 WHERE condition"); stmt.addBatch("DELETE FROM table_name WHERE condition"); // 执行批量处理语句 int[] results = stmt.executeBatch(); // 提交事务 conn.commit(); // 关闭连接 stmt.close(); conn.close(); ``` 2. 使用事务处理:Java中的JDBC也支持事务处理,可以将多个数据库操作包装在一个事务中,要么全部成功提交,要么全部回滚。以下是一个示例代码: ```java // 创建数据库连接 Connection conn = DriverManager.getConnection(url, username, password); // 关闭自动提交 conn.setAutoCommit(false); // 创建事务对象 Savepoint savepoint = null; try { // 创建PreparedStatement对象 PreparedStatement pstmt = conn.prepareStatement("INSERT INTO table_name (column1, column2) VALUES (?, ?)"); // 设置参数 pstmt.setString(1, value1); pstmt.setString(2, value2); // 执行数据库操作 pstmt.executeUpdate(); // 设置保存点,可以在这个点回滚事务 savepoint = conn.setSavepoint(); // 继续添加更多数据库操作... // 提交事务 conn.commit(); } catch (SQLException e) { // 发生异常时回滚事务到保存点 if (savepoint != null) { conn.rollback(savepoint); } else { conn.rollback(); } } finally { // 关闭连接 conn.close(); } ``` 通过使用批量处理语句和事务处理,可以在Java实现批量操作数据库,提高数据库操作的效率和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值