Java 3种批量插入更新操作的效率横向比较

最新推荐文章于 2024-10-04 07:15:00 发布

炼丹狮

最新推荐文章于 2024-10-04 07:15:00 发布

阅读量2.9w

点赞数 11

分类专栏： java 笔记/java 研究文章标签：批量插入更新效率比较批量更新效率比较

本文链接：https://blog.csdn.net/chenpy/article/details/53912752

版权

java 笔记/java 研究专栏收录该内容

33 篇文章 0 订阅

订阅专栏

以前总是说批量插入和更新的效率比非批量的要高，但是到底高多少，没有评估过，今天我就具体的测试下

（1）三种插入操作的方法

1.1 利用for循环的批量插入

示例xml

    <insert id="insertUser">
        insert into test_user (u_name,create_date) value (#{userName},SYSDATE())
    </insert>

示例代码：

for (int i = 1; i <= num; i++) {
    User user = new User();
    user.setUserName("a" + i);
    user.setCreateDate(new Date());
    userDao.insertUser(user);
}

1.2 采用jdbc

示例代码：

        Connection conn;
        try {
            Class.forName("com.mysql.jdbc.Driver");
            conn = DriverManager.getConnection("jdbc:mysql://192.168.0.200:3306/xxx", "root", "root");
            conn.setAutoCommit(false);
            String sql = "insert into test_user (u_name,create_date) value (?,SYSDATE())";
            PreparedStatement prest = conn.prepareStatement(sql, ResultSet.TYPE_SCROLL_SENSITIVE,
                    ResultSet.CONCUR_READ_ONLY);
            conn.setAutoCommit(false);

            for (int i = 1; i <= 100; i++) {
                prest.setString(1, "a" + i);
                prest.addBatch();
            }
            prest.executeBatch();
            conn.commit();


            conn.close();
        } catch (Exception ex) {
            ex.printStackTrace();
        }

1.3 采用mybatis的批量插入方法

其实也是根据一个list 拼接成一个sql
示例xml

    <insert id="batchInsertList">
        insert into test_user(u_name,create_date)
        values
        <foreach item="item" index="index" collection="userList" separator=",">
            (#{item.userName},SYSDATE())
        </foreach>
    </insert>

示例代码

        List<User> userList = new ArrayList<User>();

        for (int i = 1; i <= num; i++) {
            User user = new User();
            user.setUserName("a" + i);
            user.setCreateDate(new Date());
            userList.add(user);
        }
        userDao.batchInsertList(userList);

数据量分别是10，100，300，1000，5000条数据

数量级别：10
批量插入耗时：141
非批量插入耗时：93
jdbc批量插入耗时：195

数量级别：100
批量插入耗时：164
非批量插入耗时：970
jdbc批量插入耗时：718

数量级别：300
批量插入耗时：355
非批量插入耗时：3030
jdbc批量插入耗时：1997

数量级别：500
批量插入耗时：258
非批量插入耗时：5355
jdbc批量插入耗时：2974

数量级别：1000
批量插入耗时：422
非批量插入耗时：8787
jdbc批量插入耗时：6440

数量级别：5000
批量插入耗时：870
非批量插入耗时：43498
jdbc批量插入耗时：30368

这里写图片描述

总体看来，效率排序
mybatis批量插入 > jdbc批量插入 > 循环调用insert语句

（2）三种批量更新的方法

2.1 利用for循环批量更新

示例xml

    <update id="updateUser">
        update test_user set test_user.u_name = (#{updateUserName}) where test_user.u_name = (#{userName})
    </update>

示例代码

        for (int i = 1; i <= num; i++) {
            User user = new User();
            user.setUserName("a" + i);
            user.setUpdateUserName("b" + i);
            userDao.updateUser(user);
        }

2.2 jdbc 批量更新

示例代码

Connection conn;
        try {
            Class.forName("com.mysql.jdbc.Driver");
            conn = DriverManager.getConnection("jdbc:mysql://192.168.0.200:3306/xxx", "root", "root");
            conn.setAutoCommit(false);

            // 保存当前自动提交模式
            boolean autoCommit = conn.getAutoCommit();
            // 关闭自动提交
            conn.setAutoCommit(false);
             Statement stmt =conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY); 

            for (int i = 1; i <= num; i++) {
                stmt.addBatch("update test_user set test_user.u_name = ('d"+i+"') where test_user.u_name = ('c"+i+"')"); 
            }

            stmt.executeBatch();   
            conn.commit(); 
            conn.close();
        } catch (Exception ex) {
            ex.printStackTrace();
        }

2.3 mybatis 批量更新

其实是利用了mysql的批量更新的语法
case when的语法
详见【case when 语法】
示例xml

    <update id="batchUpdateList">
        update test_user
        <trim prefix="set" suffixOverrides=",">

            <trim prefix="u_name =case" suffix="end,">
                <foreach item="item" collection="userList">
                    when test_user.u_name = (#{item.userName})
                    then #{item.updateUserName}
                </foreach>
            </trim>

        </trim>
        where
        <foreach item="item" collection="userList" separator="or">
            (test_user.u_name = (#{item.userName}))
        </foreach>

    </update>

示例代码

        for (int i = 1; i <= num; i++) {
            User user = new User();
            user.setUserName("a" + i);
            user.setUpdateUserName("b" + i);
            userList.add(user);
        }
        userDao.batchUpdateList(userList);