Mybatis 大数据量的批量insert解决方案

最新推荐文章于 2024-08-14 01:48:08 发布

小灯光环

最新推荐文章于 2024-08-14 01:48:08 发布

阅读量10w+

点赞数 20

分类专栏： Mybatis 文章标签： mybatis批量插大数据量

本文链接：https://blog.csdn.net/wlwlwlwl015/article/details/50246717

版权

本文介绍了在使用Mybatis进行7000+数据量批量插入时遇到的错误及解决方法。通过源码分析发现，默认的Simple执行器为每个语句创建新的预处理语句，可能导致效率低下和超时。尝试切换到ExecutorType.BATCH并分批处理数据，但在实际操作中仍然出现错误。最终，通过在同一事务内分批次commit解决了问题，成功插入7728条数据，总耗时约10秒。

摘要由CSDN通过智能技术生成

前言

通过Mybatis做7000+数据量的批量插入的时候报错了，error log如下：

   ,  
('G61010352', 
'610103199208291214',   
'学生52', 
'G61010350',
'610103199109920192',
'学生50',
'07',
'01',
'0104',
' ',
0,
' ',
' ',
current_timestamp,
current_timestamp
) 被中止，呼叫 getNextException 以取得原因。

    at org.postgresql.jdbc2.AbstractJdbc2Statement$BatchResultHandler.handleError(AbstractJdbc2Statement.java:2743)
    at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:411)
    at org.postgresql.jdbc2.AbstractJdbc2Statement.executeBatch(AbstractJdbc2Statement.java:2892)
    at com.alibaba.druid.filter.FilterChainImpl.statement_executeBatch(FilterChainImpl.java:2596)
    at com.alibaba.druid.wall.WallFilter.statement_executeBatch(WallFilter.java:473)
    at com.alibaba.druid.filter.FilterChainImpl.statement_executeBatch(FilterChainImpl.java:2594)

    at com.alibaba.druid.filter.FilterAdapter.statement_executeBatch(FilterAdapter.java:2474)
    at com.alibaba.druid.filter.FilterEventAdapter.statement_executeBatch(FilterEventAdapter.java:279)
    at com.alibaba.druid.filter.FilterChainImpl.stateme