jdbc executeBatch()效率低我遇见的问题及解决

最新推荐文章于 2024-05-11 16:18:46 发布
最新推荐文章于 2024-05-11 16:18:46 发布
阅读量3.5k 收藏 1
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41866138/article/details/103802012
版权

在项目中对数据需要进行验证，就直接用jdbc写的，在往数据库中插入数据的时候，开始没有使用批量处理，跑了50多秒（总共有470条数据，940个字段，连接的是远程数据库），50秒肯定是不行的，后面我加入了批量处理，跑了20秒，这完全达不到批量处理的要求。因此我去寻找各种原因，发现逻辑和代码都没有任何错误。下面是我监控的消耗时间：
在这里插入图片描述
在这里插入图片描述
对代码进行时间监控发现，pst.executeBatch()效率慢的问题，这样我只有去检查jdbc连接问题了，最后发现是缺少rewriteBatchedStatements=true参数，如果没有这个参数的话，实际还是一条一条在插入至数据库，因此造成了性能低的原因
在这里插入图片描述
最后是正常的批量插入耗时
在这里插入图片描述
这样才是正常的，470条数据不应该超过一秒

紫伟
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
JDBC Oracle执行executeUpdate卡死问题的解决方案
09-09
今天小编就为大家分享一篇关于JDBC Oracle执行executeUpdate卡死问题的解决方案，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
MySql PreparedStatement executeBatch过慢问题
lgh1117的专栏
05-06 1万+
   在近期工作中，数据库使用到了MySql引擎，在一次数据导入几万条数据，如果一条一条插入，必然性能不佳，顾使用到了JDBC中PreparedStatement的executeBatch方法来批量提交数据，以此提高性能，但结果让我们大吃一惊，性能不升反降，由于服务器在异地，2万条左右的数据，整整提交了20分钟，简直破我的三观，于是就开启了排查之路。   过程中一直怀疑代码有问题，线程死锁（用到了...
MySQL——JDBC介绍及Batch多语句操作
最新发布
qq_59737375的博客
05-11 833
以下的代码我们每个方法中都会重复一次，这是没必要的，因为不同的方法其实只是具体执行的SQL语句的内容不同，对于获取连接与释放资源，对应的逻辑是相同的。但是在更多的环境下，由我们人直接操作数据是很低效的，比如双11这种业务场景下，一秒中往往要在库中生成上千万甚至几亿条数据，靠人来手工操作是不现实的，只能依赖于程序进行这种高并发的操作。客户端有命令行与图形界面2种。而JDBC就是java中提供的一个规范,基本都是接口和抽象类作为父类,具体的实现,是数据库厂商去弄的,只不过这些厂商需要按照我的接口标准来实现。
聊聊 JDBC 的 executeBatch || 对比下不同数据库对 JDBC batch 的实现细节
明哥的IT随笔
01-30 3112
聊聊 JDBC 的 executeBatch || 对比下不同数据库对 JDBC batch 的实现细节 || 剖析下 Mysql 的 参数 rewriteBatchedStatements || 剖析下 pg 的参数 reWriteBatchedInserts 大家好，我是明哥！ 上篇博文，“对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements” 发表后，有小伙伴问到不同数据库对 JDBC 批量更新的实现细节，
jdbc executeBatch()事务批量提交获取到其中一条存在异常sql
qq_39457143的博客
11-02 2855
import java.sql.BatchUpdateException; try{ ps.executeBatch();//批量执行 connection.commit();//提交 }catch (BatchUpdateException throwables) { int[] exc = throwables.getUpdateCounts();//获取到sql执行后返回的信息 int count = 0; //遍历 获取到第几条sql有问题 for (in
批量处理JDBC语句提高处理速度
01-20
总之，JDBC的批量处理功能是提高数据库操作效率的有效手段，特别是对于处理大数据量时。通过合理运用Statement和PreparedStatement的批量处理方法，可以在保持代码简洁的同时，显著提升应用的性能。
JDBC课件及源码.zip
11-01
**JDBC基础与应用** Java Database Connectivity（JDBC）是Java平台中用于访问数据库的标准Java ...通过"JDBC课件及源码.zip"中的资源，学习者可以系统地学习JDBC，结合实例代码加深理解，进一步提升数据库操作技能。
基于java的jdbc的效率分析
04-02
理解JDBC的效率分析至关重要，因为它直接影响到应用程序的性能和资源利用率。 首先，我们要明白JDBC的基本工作流程。它包括以下步骤： 1. 加载驱动：程序通过`Class.forName()`方法加载对应的数据库驱动。 2. 获取...
oracle导出数据特别慢_Oracle 大最插入数据 一段时间之后变慢问题解决方法
weixin_39841610的博客
12-18 1321
因为系统业务需要，需要从数据中心导入12年的历史数据到系统。每天平均1000千左右。有一个表有200多个字段，基中还包括几个clob字段。导入方式是用http向服务器一天一天的请求数据。每次请求一天。不能请求太多天，因为服务器请求太多天，有可能返回不了数据。导致失败，Java的JDBC接口写入。每次写数据都是一条一条的写入。刚开始还算顺利，接口过来的数据都能写入进数据库。但问题出现在写入1个月数据...
JDBC批量执行executeBatch
热门推荐
czmchen的专栏
07-04 2万+
JDBC执行SQL语句，有两个处理的接口，一个PreparedStatement,Statement,一般操作JDBC比较用得多的还是PreparedStatement不过在执行批量，PreparedStatement有点不够Statementps = conn.prepareStatement(sql);for(int i = 0;i   ps.setString(1,"1");   ps.addBatch();}ps.executeBatch();这个是正常执行的可是把PreparedStatement
java exec很慢_executeBatch 更新效率慢
weixin_39547158的博客
03-06 680
该楼层疑似违规已被系统折叠隐藏此楼查看此楼请给位大佬看看，执行效率很慢，执行到executeBatch 就卡住了public static void updateCategory_ID() {try {con = DBConn.getConnection();String sql = "select * from O8100_SPXX_201907_3 where category_id lik...
关于JDBC MySql PreparedStatement executeBatch过慢的问题解决------亲身经历
Gavin
09-11 2210
话不多说,先看源码----- package com.test.curd; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class TestBatch { private static String driver ="com.mysql.cj.jdbc.Driver"; p
JDBC的PreparedStatement启动事务使用批处理executeBatch()
fascinate_的博客
02-27 3486
转自：https://blog.csdn.net/xiong9999/article/details/53258698 JDBC使用MySQL处理大数据的时候,自然而然的想到要使用批处理， 普通的执行过程是：每处理一条数据，就访问一次数据库； 而批处理是：累积到一定数量，再一次性提交到数据库，减少了与数据库的交互次数，所以效率会大大提高 至于事务：事务指逻辑上的一组操作，组成这组操作的各个...
JDBC preparedStatement executeBatch 效率低
月光轩辕的专栏
04-24 2961
问题 目前在优化一份代码，通过日志定位，发现程序的主要的时间花费在excuteBatch语句上。 问题代码 PreparedStatement ps = tempbaseCon.prepareStatement(sql); while (rs.next()) { //读取数据 for (int i = 2; i <= columnCount; i++) { ...
oracle executebatch rollback,executeBatch执行效率低(单单1W条数据)
weixin_42321940的博客
04-10 792
executeBatch执行效率低(仅仅1W条数据)publicbooleaninsertCdkey(ArrayListList)throwsSQLException{conn=mc.sqlConnnect();booleanresult=false;Stringsql="insertintolotteryitems(cdkey,points,lotteryid,st...
关于JDBC的批量操作executeBatch()所引发sql语句异常
05-19
在使用JDBC的批量操作executeBatch()时，可能会出现sql语句异常的情况，这种情况往往是由于以下原因： 1. 执行的批量操作中包含有错误的sql语句，例如语法错误或表名错误等。 2. 执行的批量操作中包含有重复的sql语句，例如插入重复的数据等。 3. 执行的批量操作中包含有不合法的参数，例如参数类型不匹配等。 针对这种情况，可以通过以下方式来解决： 1. 检查sql语句是否正确，尤其是表名和列名等是否正确。 2. 在执行批量操作之前，先对要插入的数据进行去重处理。 3. 在执行批量操作之前，对参数类型进行检查，确保参数类型符合要求。 如果还是无法解决问题，可以将异常信息打印出来，以便更好地定位问题所在。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值