06-高效地向数据库批量插入数据

最新推荐文章于 2024-08-08 18:50:15 发布
最新推荐文章于 2024-08-08 18:50:15 发布
阅读量2k 收藏 3
点赞数 1
分类专栏： Java JDBC 文章标签： java mysql 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33246702/article/details/124222603
版权
本文通过三种不同方式演示了Java中使用JDBC进行数据插入操作：单条插入、批量插入（使用addBatch和executeBatch）以及关闭自动提交后的批量插入。在20000行数据的测试中，显示关闭自动提交后的批量插入方式效率最高，耗时最短。这表明随着数据量增加，批量处理和事务控制对于提高数据库操作性能的重要性。
摘要由CSDN通过智能技术生成

实现层次1：使用PreparedStatment一行行插入

public static void InsertTypeOne(int rows) {
    // 一行行插入
    Connection conn = null;
    PreparedStatement ps = null;
    try {
        conn = JDBCUtils.GetConnection();
        String sqlstr = "insert into user_info(name,email)values(?,?)";
        ps = conn.prepareStatement(sqlstr);
        for (int i = 1; i <= rows; i++) {
            ps.setObject(1, "name_" + i);
            ps.setObject(2, i + "@gmail.com");
            ps.execute();
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        JDBCUtils.CloseResource(conn, ps);
    }
}

实现层次2：使用addBatch(),executeBatch(),clearBatch()攒一波批量插入

public static void InsertTypeTwo(int rows) {
    // 使用addBatch(),executeBatch(),clearBatch() 批量插入数据
    // mysql服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理的支持。
    // ?rewriteBatchedStatements=true 写在配置文件的url后面
    // 如之前是 jdbc:mysql://localhost:3306/stock?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC
    // 更新为  jdbc:mysql://localhost:3306/stock?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC
    Connection conn = null;
    PreparedStatement ps = null;
    try {
        conn = JDBCUtils.GetConnection();
        String sqlstr = "insert into user_info(name,email)values(?,?)";
        ps = conn.prepareStatement(sqlstr);
        for (int i = 1; i <= rows; i++) {
            ps.setObject(1, "name_" + i);
            ps.setObject(2, i + "@gmail.com");
            // 1. 攒sql
            ps.addBatch();
            if (i % 500 == 0){
                // 2. 攒一批执行一次
                ps.executeBatch();
                // 3. 执行后要清空一下
                ps.clearBatch();
            }else if (i == rows){
                ps.executeBatch();
                ps.clearBatch();
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        JDBCUtils.CloseResource(conn, ps);
    }
}

实现层次3：在2的基础上，关闭自动提交

public static void InsertTypeThree(int rows) {
    // 插入数据时先禁止自动提交，数据全部execute后，再进行提交，最后再恢复自动提交
    Connection conn = null;
    PreparedStatement ps = null;
    try {
        conn = JDBCUtils.GetConnection();
        // 1. 设置不自动提交数据
        conn.setAutoCommit(false);
        String sqlstr = "insert into user_info(name,email)values(?,?)";
        ps = conn.prepareStatement(sqlstr);
        for (int i = 1; i <= rows; i++) {
            ps.setObject(1, "name_" + i);
            ps.setObject(2, i + "@gmail.com");
            // 1. 攒sql
            ps.addBatch();
            if (i % 500 == 0) {
                // 2. 攒一批执行一次
                ps.executeBatch();
                // 3. 执行后要清空一下
                ps.clearBatch();
            } else if (i == rows) {
                ps.executeBatch();
                ps.clearBatch();
            }
        }
        // 2. 提交数据
        conn.commit();
        // 3. 提交完再设置自动提交
        conn.setAutoCommit(true);
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        JDBCUtils.CloseResource(conn, ps);
    }
}

在本地测试时，效率如下：

public static void main(String[] args) {
    int rows = 20000;
    long tstart = System.currentTimeMillis();
    //        InsertTypeOne(rows);// 插入 20000 行数据，共耗时 41748
    //        InsertTypeTwo(rows);// 插入 20000 行数据，共耗时 904
    InsertTypeThree(rows);// 插入 20000 行数据，共耗时 846
    long tend = System.currentTimeMillis();
    System.out.println("插入 " + rows + " 行数据，共耗时 " + (tend - tstart));
}

其中，方式3在数据量增大的情况下，是会有明显地效率提升。这里只使用了2万行数据，体现得不明显。

package batchinsert;

import utils.JDBCUtils;

import java.sql.Connection;
import java.sql.PreparedStatement;

public class BatchInsert {
    public static void main(String[] args) {
        int rows = 20000;
        long tstart = System.currentTimeMillis();
//        InsertTypeOne(rows);// 插入 20000 行数据，共耗时 41748
//        InsertTypeTwo(rows);// 插入 20000 行数据，共耗时 904
        InsertTypeThree(rows);// 插入 20000 行数据，共耗时 846
        long tend = System.currentTimeMillis();
        System.out.println("插入 " + rows + " 行数据，共耗时 " + (tend - tstart));
    }

    public static void InsertTypeOne(int rows) {
        // 一行行插入
        Connection conn = null;
        PreparedStatement ps = null;
        try {
            conn = JDBCUtils.GetConnection();
            String sqlstr = "insert into user_info(name,email)values(?,?)";
            ps = conn.prepareStatement(sqlstr);
            for (int i = 1; i <= rows; i++) {
                ps.setObject(1, "name_" + i);
                ps.setObject(2, i + "@gmail.com");
                ps.execute();
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JDBCUtils.CloseResource(conn, ps);
        }
    }

    public static void InsertTypeTwo(int rows) {
        // 使用addBatch(),executeBatch(),clearBatch() 批量插入数据
        // mysql服务器默认是关闭批处理的，我们需要通过一个参数，让mysql开启批处理的支持。
        // ?rewriteBatchedStatements=true 写在配置文件的url后面
        // 如之前是 jdbc:mysql://localhost:3306/stock?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC
        // 更新为  jdbc:mysql://localhost:3306/stock?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC
        Connection conn = null;
        PreparedStatement ps = null;
        try {
            conn = JDBCUtils.GetConnection();
            String sqlstr = "insert into user_info(name,email)values(?,?)";
            ps = conn.prepareStatement(sqlstr);
            for (int i = 1; i <= rows; i++) {
                ps.setObject(1, "name_" + i);
                ps.setObject(2, i + "@gmail.com");
                // 1. 攒sql
                ps.addBatch();
                if (i % 500 == 0) {
                    // 2. 攒一批执行一次
                    ps.executeBatch();
                    // 3. 执行后要清空一下
                    ps.clearBatch();
                } else if (i == rows) {
                    ps.executeBatch();
                    ps.clearBatch();
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JDBCUtils.CloseResource(conn, ps);
        }
    }

    public static void InsertTypeThree(int rows) {
        // 插入数据时先禁止自动提交，数据全部execute后，再进行提交，最后再恢复自动提交
        Connection conn = null;
        PreparedStatement ps = null;
        try {
            conn = JDBCUtils.GetConnection();
            // 1. 设置不自动提交数据
            conn.setAutoCommit(false);
            String sqlstr = "insert into user_info(name,email)values(?,?)";
            ps = conn.prepareStatement(sqlstr);
            for (int i = 1; i <= rows; i++) {
                ps.setObject(1, "name_" + i);
                ps.setObject(2, i + "@gmail.com");
                // 1. 攒sql
                ps.addBatch();
                if (i % 500 == 0) {
                    // 2. 攒一批执行一次
                    ps.executeBatch();
                    // 3. 执行后要清空一下
                    ps.clearBatch();
                } else if (i == rows) {
                    ps.executeBatch();
                    ps.clearBatch();
                }
            }
            // 2. 提交数据
            conn.commit();
            // 3. 提交完再设置自动提交
            conn.setAutoCommit(true);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JDBCUtils.CloseResource(conn, ps);
        }
    }
}
wangyanglongcc
关注
专栏目录
几种数据库的大数据批量插入
10-18
C#几种数据库的大数据批量插入,有关oracle,适合初学者学习使用
数据库批量插入数据
weixin_45416687的博客
12-07 3378
mysql #创建测试表 CREATE TABLE `user` ( `id` varchar(32) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; #编写存储过程 DROP PROCEDURE IF EXISTS procedure_test; DELIMITER $ #这一步是因为，正常的sql中是以分号（;）为
《MySQL数据库》数据导入、导出、表处理—/—＜4＞
最新发布
wx_AHao1004Y的博客
08-08 989
..如果设置了主键，之后插入数据时，主键的列，数据有空值或者重复值时会报错。
mysql插入数据写法_mysql 批量插入数据
weixin_35945480的博客
01-27 462
MySQL使用INSERT插入多条记录，应该如何操作呢？下面就为您详细介绍MySQL使用INSERT插入多条记录的实现方法，供您参考。看到这个标题也许大家会问，这有什么好说的，调用多次INSERT语句不就可以插入多条记录了吗！但使用这种方法要增加服务器的负荷，因为，执行每一次SQL服务器都要同样对SQL进行分析、优化等操作。幸好MySQL提供了另一种解决方案，就是使用一条INSERT语句来插入多条...
数据库中批量插入数据的方法，记录一下。
weixin_34051201的博客
05-27 656
If using SQL Server,SqlBulkCopy.WriteToServer(DataTable) SqlBulkCopy.WriteToServer Method (DataTable) Or also with SQL Server, you can write it to a .csv and useBULK INSERT BU...
批量插入数据库
Liulelelele_的博客
07-11 199
以MacAddr和Creationtime为主键，批量插入数据库
Android批量插入数据到SQLite数据库的方法
08-30
以下是四种Android批量插入数据到SQLite数据库的方法： 1. 使用`db.execSQL(sql)`： 这种方法涉及将待插入的数据组合成SQL插入语句，例如`INSERT INTO table_name (column1, column2) VALUES (value1, value2)`。...
Node.js下向MySQL数据库插入批量数据的方法
12-16
在Node.js环境中，当需要高效地向MySQL数据库批量插入数据时，传统的循环插入方式往往会导致性能低下，因为每个插入操作都会触发一次与数据库的交互。为了解决这个问题，可以使用MySQL驱动提供的批量插入方法，这将...
C#.NET中如何批量插入大量数据到数据库中
09-03
在C#.NET中批量插入大量数据到数据库是一个常见的任务，特别是在处理诸如从Excel文件导入数据等场景时。这里，我们将探讨如何使用C#.NET高效地完成这个任务，并提供一个简单的示例来说明整个过程。 首先，我们需要...
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
综上所述，Java使用JDBC进行批量插入数据是通过PreparedStatement的批处理功能实现的，通过设置手动提交和优化连接字符串，以及合理控制批量处理的大小和选择合适的数据库配置，可以有效地提高插入10万条或更多数据...
odbc 数据库批量插入操作
03-02
使用odbc批量插入10W条数据，与update作对比，速度明显提升，将近10倍。
批量数据插入数据库
lxctxx的博客
07-18 215
1.常规操作就是直接一次性直接批量插入，这种情况如果数据量超级大会超出数据库最大数据包限制。2.循环一条一条插入，会使磁盘io一直处于高位，不可取。3.大数据量分割循环插入最可取，一般1000条数据一分隔。
将数据批量插入数据库
lx1230的博客
06-27 235
核心代码展示： @Component public class AsyncExecutorPoolConfig { private static final Logger LOG = LoggerFactory.getLogger(AsyncExecutorPoolConfig.class); @Value("${peroninfo.async.log.queueSize:3...
数据库批量插入
盗墓笔记
03-31 623
<?php class dbModel { protected $fields = array(); /** * @desc 批量添加 * * @param Array $dataList * @param String $tableName * @return boolean */ public function addAll($dataList,$t
【数据库批量插入】
weixin_42120698的博客
07-28 156
在工作中碰到了一个需求，在设备操作后，需要将操作日志上报，但是操作过程比较长，需要多次上报,原上报QPS比较高，QPS > 3000,多次上报后，QPS是原来4倍，当前存在下面问题1、如果解决QPS高的问题2、原流程接受客户端请求后，通过发送消息异步处理，消息量比较高3、数据库频繁操作，高峰期风险比较大。
Java高效实现200ms批量插入10000条数据库记录
总结：实现200毫秒内插入10000条数据的关键在于优化数据库操作、批量插入以及利用Java的并发处理能力。通过预编译SQL语句、批量执行和潜在地使用连接池，可以大大提高数据插入的效率。同时，了解数据库特性，如索引...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值