JDBC之高效批量插入

前言

PreparedStatement支持批量插入，在一次编译的基础上还可以减少IO和写入数据库来提高批量插入的效率。

一、批量插入

1、批量执行SQL语句

当需要成批插入或者更新记录时，可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率

JDBC的批量处理语句包括下面三个方法：

• addBatch(String)：添加需要批量处理的SQL语句或是参数；
• executeBatch()：执行批量处理语句；
• clearBatch():清空缓存的数据

通常我们会遇到两种批量执行SQL语句的情况：

• 多条SQL语句的批量处理；
• 一个SQL语句的批量传参；

2、批量插入源码

/**
     * @function 高效批量插入
     * 大批量插入，如何提高效率？
     * 1.减少IO次数,通过Batch来减少IO，
     * mysql服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理的支持。
     * ?rewriteBatchedStatements=true 写在配置文件的url后面（5.1.37版本以上才支持）
     * 2.减少写入数据库次数,conn.setAutoCommit(false);
     */
    
    @Test
    public void multiInsert() {
        String sql = "insert into goods(name) values(?)";
        try (Connection conn = getConn();
             PreparedStatement ps = conn.prepareStatement(sql)) {
            //第一点，减少写入数据库次数，设置非自动提交
            conn.setAutoCommit(false);
            StringBuilder sb = new StringBuilder();
            for (int i = 0; i <= 1000000; i++) {
                sb.append("name");
                //1.为占位符赋值
                ps.setObject(1, sb.append(i).toString());
                sb.delete(0, sb.length());
                //第二点，通过Batch来减少IO
                ps.addBatch();//先把SQL存起
                if (i % 500 == 0) {
                    ps.executeBatch();//执行存起的SQL，减少500-1=499次IO
                    ps.clearBatch();//把batch清空，为下一次装入做准备
                }
            }
            //写入数据库，一次写入
            conn.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

总结

1）一次预编译、语法校验及其二进制代码转换。
2）减少IO次数。
3）减少数据库写入次数。

参考文献

[1] JDBC 尚硅谷