如何利用jdbc快速插入百万条数据

最新推荐文章于 2022-11-22 15:31:20 发布
VIP文章 最新推荐文章于 2022-11-22 15:31:20 发布
阅读量5.1k 收藏 3
点赞数
文章标签： jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/diogy/article/details/53169103
版权

如何利用jdbc快速插入百万条数据

当须要向数据库插入百万条数据时，利用hibernate，mybatis等持久层框架时耗时较久，此时使用jdbc插入效率会更高。此种场景特别适用于读取文件导入到数据库。可以利用批处理来加快jdbc的插入效率。

String sql = "insert into person(id,name) values(?,?)";
Connection c = ConnectionUtil.getConn();
PreparedStatement ps = c.prepareStatement(sql);
for (int i = 0; i < 1000; i++) {
   
    ps.setInt(1, (i + 1));
    ps.setString(2</
最低0.47元/天 解锁文章
斑驳若影
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
百万数据批量插入存储过程
07-23
mysql 数据库已存储过程插入一千万条测试数据！利用项目即将上限需要，可以完全系统的测试项目性能！里面又完整的文档和各项说明：打开文档就可以实际操作。
Mysql百万级数据插入--批处理四秒解决
weixin_42194515的博客
08-05 523
100w条数据插入 今天做个小实验模拟百万数据插入，思路如下 使用批处理，减少连接数，每次处理十万条 预编译sql public class UserJDBCTemplate implements UserDAO { private DataSource dataSource; private JdbcTemplate jdbcTemplateObject; @Override public void setDataSource(DataSource dataSourc
MySQL十秒插入百万条数据
莫绝岚的小屋
11-14 2万+
mysql 十秒快速插入百万条数据 用时：62分钟多 方式一、二总结：到此可以看出其实其处理程序及批处理是没有起作用的，为此我们使用方式三 方法三较于方法二的改变是只是url地址上的改变，其它没有任何修改 用时：【10秒左右】
jdbc插入百万级数据
qq_19396391的博客
04-12 1982
1.背景介绍 快速插入百万级数据 我们一般用JDBC向数据库插入数据时，是用statement或preparedstatment中的update或execute方法来实现，但当要插入的数据为百万级别甚至千万级别时，这种方法显然无法满足我们的需求，可以尝试写一个循环,循环以百万次statement.excute(sql)方法，我这边测试是半个小时还没有插完。 缺点:一条一条的s...
插入一百万数据的最优解分析和耗时
nkc的博客
09-04 4960
插入一百万数据的最优解分析和耗时
java实现jdbc批量插入数据
09-02
主要为大家详细介绍了java实现jdbc批量插入数据，三种JDBC批量插入编程方法进行比较，感兴趣的朋友可以参考一下
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
主要介绍了java中JDBC实现往MySQL插入百万级数据的实例代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
08-31
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢?今天小编通过本教程给大家介绍下
JDBC连接MySQL数据库批量插入数据过程详解
08-25
主要介绍了JDBC连接MySQL数据库批量插入数据过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java利用jdbc连接数据库之插入数据.docx
10-26
java利用jdbc连接数据库之插入数据.docx
jdbc批量插入的4种方式【百万条数据插入只需几秒】
热门推荐
C3245073527的博客
12-21 3万+
解决批量插入【BatchUpdateException】异常，以及4秒插入100W条数据
mysql数据库100万条数据JDBC插入的各种方式效率对比。
shuixiou1的博客
03-08 4368
最近要插入100万左右的数据，还包括计算过程，为了压缩请求时间，特意试了下几种常见的jdbc方式的效率。package test.jbdc; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; import org.junit.Test; /** * 大数...
使用java代码向mysql数据库插入100万条数据
BigDream
11-22 4816
使用springboot集成Mysql数据库，并使用java代码循环向msql数据库插入100万条数据，并测试插入时间。
JDBC批量插入数据(100W+条数据)
wzy18210825916的博客
03-03 8839
背景描述 最近在做ETL数据清洗的时候，遇到一个很大的数据源，每10分钟就有10W+的数据要写入数据仓库，传统的JDBC插入操作需要半个小时左右才能插入完，效率很低，甚至因为长时间占用Connection连接，引出其他异常。 后来想到了JDBC的批处理，在自己的本机上测试了一下，10W条数据只需4秒左右，50W条数据8秒左右，100W条约15秒，当然博主的电脑还是比较垃圾的，在真正的服务器上将...
利用JdbcUtil往数据库中插入1W条数据
weixin_41807943的博客
06-12 873
package jdbcday04; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; /* * 插入1W条数据 */ public class JdbcInsert { public static void main(String[] args) { ...
使用jdbc批量插入数据
qq_40331861的博客
07-25 454
使用jdbc 批量插入数据，速度也不是很快1万条数据大概需要4.5秒左右 package com.example.studyspringboot.studyboot.utils.stuMysqlBatchInsert; import com.example.studyspringboot.studyboot.utils.jdbc.DBUtils; import org.junit.Test; import java.sql.*; //大批量数据插入 //参考文档https://www.cnblog
jdbc高效的批量插入数据
qq_46400683的博客
09-24 3902
jdbc批量如何高效的插入数据
用JDBC向数据库中插入大量数据时的优化
haoliyanzhanghao的专栏
03-13 733
使用jdbc向数据库插入100000条记录，分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试：  //1.使用statement插入100000条记录  public void exec(Connection conn){ try { //开始时间 Long beginTime = System
jdbc，大批量插入数据速度测试
qq_27886773的博客
08-15 709
方法1：insert into table(field1,field2) values(value1,value2),(value3,value3)。每次提交1000条，插入10次耗时140ms，每次插入10000，插入10次，耗时818ms 这种方式是最快的， /** * 140ms,1w,818ms,10w */ public void test1(){ final S...
springboot +mybatis +oracle 多线程+事务 快速插入百万条数据示列
最新发布
07-15
您可以参考以下示例代码来实现Spring Boot与MyBatis集成，使用Oracle数据库进行多线程快速插入百万条数据，并保证事务的一致性。 首先，您需要在pom.xml文件中添加所需的依赖： ```xml <dependencies> <!-- Spring Boot --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <!-- MyBatis --> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.2.0</version> </dependency> <!-- Oracle JDBC Driver --> <dependency> <groupId>com.oracle.database.jdbc</groupId> <artifactId>ojdbc8</artifactId> <version>19.8.0.0</version> </dependency> </dependencies> ``` 接下来，创建一个实体类来表示您要插入的数据： ```java public class Data { private String name; // 其他字段... // Getter和Setter方法... } ``` 然后，创建一个Mapper接口来定义数据访问的方法： ```java @Mapper public interface DataMapper { void insertData(Data data); } ``` 接着，在application.properties文件中配置数据库连接信息： ```properties spring.datasource.url=jdbc:oracle:thin:@localhost:1521/ORCL spring.datasource.username=your-username spring.datasource.password=your-password spring.datasource.driver-class-name=oracle.jdbc.OracleDriver ``` 现在，您可以编写一个Service类来执行插入操作： ```java @Service public class DataService { @Autowired private DataMapper dataMapper; @Transactional public void insertMillionData() { ExecutorService executorService = Executors.newFixedThreadPool(10); // 使用10个线程插入数据 for (int i = 0; i < 1000000; i++) { final int index = i; executorService.execute(() -> { Data data = new Data(); data.setName("Data " + index); // 设置其他字段... dataMapper.insertData(data); }); } executorService.shutdown(); try { executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } } ``` 最后，在启动类中添加@SpringBootApplication注解，并在main方法中调用DataService的insertMillionData方法： ```java @SpringBootApplication public class Application { public static void main(String[] args) { SpringApplication.run(Application.class, args); // 调用插入数据的方法 ApplicationContext context = SpringApplication.run(Application.class, args); DataService dataService = context.getBean(DataService.class); dataService.insertMillionData(); } } ``` 以上示例代码演示了如何使用Spring Boot和MyBatis实现多线程快速插入百万条数据，并保证事务的一致性。您可以根据实际需求进行适当的修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值