jdbc同时插入多张表，优化插入速度

最新推荐文章于 2023-04-19 13:29:14 发布
最新推荐文章于 2023-04-19 13:29:14 发布
阅读量863 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq3892997/article/details/95621663
版权

查出一张表的数据要往4张表里插入，而四张表得依次插入不能单独循环插入，导致4张表每条数据都得获取一次JDBC连接，然后再关闭，15w数据运行时间为6h

两部优化：

1.查出需要插入的数据的所有id，再以partition方法切片成多个List，再以list的第一个数与最后一个数查询两id之间的数据，而不是一次性全查出来，影响java处理性能

2.因为4张表都是同一个库，把获取连接单独抽取出来作为一个全局变量，关闭连接也单独写一个方法，在for循环之前就获取连接，for循环结束才关闭连接，亲测15w数据运行时间为22分钟，省了5个多小时

 

往事不堪回首..
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
java jdbc 利用 bonecp 四线程同时向四张表插入记录
11-21
java 向mysql 插入记录，用bonecp 多线程并行插入记录 用acer 3750g测试结果500-600条/秒/每张表，台式机更快一些约800条/秒/每张表,分析用的SQL语句 select max(num),min(num),avg(num) from ( select count(*) num, evt_time from level2faulttxt where evt_time > (select min(evt_time) from level2faulttxt) and evt_time < (select max(evt_time) from level2faulttxt) group by evt_time ) aaa
在JDBC一次插入多个表、多条记录
a214919447的博客
06-09 3517
原文链接 在jdbc操作中，通过事务操作，一次可以插入多个表 ，多条记录： public static void insertBatch() {   int count[];   int count1[];   Boolean isinsert = false;   Connection con = null;   PreparedStatement pst = null;  
JDBC同时插入多表
huifeidewoniu_的博客
04-19 366
【代码】JDBC同时插入多表。
JAVA - Mybatis优化多表批量插入（性能优化）
qq_34962507的博客
10-09 2017
在上一篇代码的基础上，在Mybtis中进行多表插入业务的优化，提高业务效率
java通用dao方法（优化多表联查）
qq_40132161的博客
08-03 5759
本方法只介绍一个通用方法，本方法可应用在多表联查，可以不用多ji建javaBean也不需要把外键变成对象 准备一个pet实体类和DBlist工具类   package com.pet.entity; import java.io.Serializable; public class Pet implements Serializable { /** * */ privat...
shardingsphere-jdbc实现简单的单库分表
最新发布
06-05
在本文中，我们将深入探讨如何使用ShardingSphere-JDBC来实现简单的单库分表策略，以便更好地管理和优化数据库性能。 首先，我们需要了解什么是数据分片。数据分片是将一个大型数据库拆分成多个较小的部分，每个...
cadastro-javafx-jdbc
03-13
7. **事务管理**: 如果涉及到多个数据库操作，如创建新用户时同时插入多张表，事务管理就很重要，以确保数据的一致性。JDBC提供了一套事务控制机制，如设置自动提交和手动提交。 8. **验证与校验**: 用户输入的数据...
jsp+servlet+jdbc原生实现增删改查两张表
07-04
同时，要确保代码中正确处理异常，避免数据库操作出错时导致程序崩溃。 在项目的压缩包中，"两张表员工管理录入jspServlet"可能包含了两个数据库表的JSP页面和Servlet实现，一个用于员工信息，另一个可能是其他相关...
sharding分库分表demo
12-02
在分库分表的场景下，ShardingSphere能够根据预定义的规则将数据分散到多个数据库和表中，以实现水平扩展，提高数据库处理能力。它支持自定义分片策略，例如根据用户ID取模、时间戳范围等方式，使得数据分布均匀，...
使用jdbc批量插入数据
qq_40331861的博客
07-25 487
使用jdbc 批量插入数据，速度也不是很快1万条数据大概需要4.5秒左右 package com.example.studyspringboot.studyboot.utils.stuMysqlBatchInsert; import com.example.studyspringboot.studyboot.utils.jdbc.DBUtils; import org.junit.Test; import java.sql.*; //大批量数据插入 //参考文档https://www.cnblog
java将数据同时插入到两张表中
Dustmicro的博客
12-24 5328
要求： xml配置文件中已经配置好sql语句的增、删、改、查，只需要在service层编写java代码实现将数据同时插入到两张表中。 以员工和用户为例，在某种环境下员工也是用户，新增员工信息Staff的时候同时将信息添加到用户表User中。xml中已经配置好了sql语句的增、删、改、查，需要在service层中编写java代码达到需求： @Service("addStaff") /**传入staff参数，返回String类型信息**/ public String addStaff(Staff staff,S
JDBC事务(同时操作数据库多个表)
zpatagonia的博客
11-20 3630
public class TestTransaction { /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub try { Class.forName("com.mysql.jdbc.Driver"); } catch (Cla
使用JDBC一次插入多个表 多条记录
hftyhv的博客
11-13 477
使用JDBC一次插入多个表 多条记录
Java-多表插入业务
qq_34962507的博客
09-29 604
此文章是自己在多表插入业务时遇到的一些问题解答，希望有思路可以帮助到你！
java 批量插入千万条数据优化方案【值得收藏】
javaXingzhe的博客
03-01 8164
java 千万条数据插入mysql优化
插入多条记录到数据库的性能优化一小点
happyqyt的专栏
09-02 2781
1、mysql： 插入多条记录到同一个表时，可以这样写： insert into table_name (col1,col2,col3) values (col1_val,col2_val,col3_val),(col1_val2,col2_val2,col3_val2)
java项目MySQL数据库优化实际案例（同步并插入大批量数据）
zhangjians的博客
04-07 1323
目录需求第一版：1.1 方案：1.2 伪代码实现：1.3 第一版问题：第二版：2.1 方案：2.2 伪代码实现：2.3 第二版相对于第一版的优点：2.4 缺点：第三版3.1 方案3.2 伪代码实现：3.3 第三版相对于第二版的优点：3.4 缺点： 需求 同步A系统多张表（oracle数据库）中的明细数据，插入到本系统的数据库中（MySQL），并做一些汇总计算，最后展示成报表。 第一版： 1.1 方...
JDBC: 批量处理提高SQL处理速度
a453202743的博客
03-15 125
引用：忘了 当需要成批插入或者更新记录时。可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率 JDBC的批量处理语句包括下面两个方法： addBatch(String)：添加需要批量处理的SQL语句或是参数； executeBatch（）；执行批量处理语句； 通常我们会遇到两种批量执行SQL语句的情况： 多条...
MyBatis关联结构的数据批量插入方法详解与优化
Empty
11-23 2034
数据基础 两张表，头行结构。逻辑结构：一对多，一个老师有多个学生。为帮助理解，相当于是一张老师表一张学生表。以下代码中没有用这两张表的字段，以头表行表来替代老师表和学生表，通用性高一些。 问题 新增的数据为头行结构数据。 例如，新增了一个老师和两个学生信息，两个学生都属于这个老师的java班中。 我们需要将这一条json数据分别插入到老师表和学生表这两个表中。 [ { "class...
事务提交批量向多张表中插入数据
05-25
可以使用数据库事务来实现向多张表中插入数据的批量提交。具体实现步骤如下： 1. 开启事务。 2. 定义需要插入的数据。 3. 对每张表分别执行插入操作，将需要插入的数据逐条添加到 SQL 语句中。 4. 提交事务或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事不堪回首..

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值