mysql如何一秒插入10万条数据

当我们需要批量插入或者更新记录时,可以采用Java的批量更新机制,该机制允许多条语句甚至一次性提交给数据库处理。通常情况下比一句一提交处理更有效率。

jdbc处理批量提交有三个方法。(需要注意的是,这三种方法都要和PreparedStatement一起使用)

方法名描述
addBatch(String)添加批量处理的SQL语句
executeBatch()执行批量处理语句
clearBatch()清理缓存

为什么我们需要批量处理sql语句,如果我们提交100万条数据,并且是一条一条提交,这样就会造成大量的磁盘io,数据库性能因此下降,但是如果我们把执行的sql存起来,比如10万条数据提交一次,那么只需要提交10次,大大减少了磁盘io,同时提高了数据库性能。

创建数据库

CREATE TABLE name(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20),
grade int(20)
);

插入100万条数据

  @Test
    public void insertTest04() throws SQLException, IOException, ClassNotFoundException {
        long start = System.currentTimeMillis();

        Connection conn = JDBCUtils.getConnection();

        //1.设置为不自动提交数据
        conn.setAutoCommit(false);

        String sql = "insert into name(name,grade)values(?,?)";
        PreparedStatement ps = conn.prepareStatement(sql);

        Random rand = new Random();
        for (int i = 1; i <= 1000000; i++) {
            ps.setString(1, "name_" + i);
            ps.setInt(2,rand.nextInt(100)+i);
            //1.存sql
            ps.addBatch();

            if (i % 1000 == 0) {
                //2.执行sql
                ps.executeBatch();
                //3.清空缓存
                ps.clearBatch();
            }
        }
        //2.提交数据currentTimeMillis()
        conn.commit();
        long end = System.currentTimeMillis();
        System.out.println("花费的时间为:" + (end - start)/1000+"秒");
        JDBCUtils.closeResouce(conn, ps);
    }

数据库默认数据自动提交,所以在这里,我们需要使用setAutoCommit(false)设置不自动提交数据,这样我们把sql分割成1000条执行一次。注意(设置了不自动提交之后我们需要手动提交)

  • 2
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林中有神君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值