Oracle+mybatis+Java批量插入如何提升效率(10W级)

1、编写SQL语句

由于数据量过大,所以采用拼接SQL语句的方式,不采用在Java代码中循环。

对应的实体类为:

2、编写Java代码

由于Oracle对于SQL语句长度有限制,所以分批批量添加,不能一次性十万条添加。

这里是存储实体类的集合

大致思想是:新建立一个数组,每次向该数组中添加数据,当该数组的长度为100时就去提交添加,直至原数组中数据添加完毕。(几百都可以)

3、注意事项

因数据量较大,为了避免添加过程中服务器宕机或其他原因导致数据添加不完整,所以建议交给事务管理,以防出现这种情况。

根据这种方法,10W条数据大致70s左右,因为我的业务背景是(读取Excel中数据,然后存储到List中,再分批添加到数据库中,然后将这10W条数据导出到dbf文件中),所以会比较慢,如果只是存储到数据库中的话,大概30-40s左右吧。

  • 9
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
Oracle数据库使用MyBatis进行高效的百万批量插入可以使用批处理操作,以下是实现步骤: 1. 配置MyBatis的批处理属性: 在MyBatis的配置文件中添加以下属性: ``` <settings> <setting name="jdbcTypeForNull" value="NULL" /> <setting name="cacheEnabled" value="true" /> <setting name="lazyLoadingEnabled" value="true" /> <setting name="aggressiveLazyLoading" value="false" /> <setting name="multipleResultSetsEnabled" value="true" /> <setting name="useColumnLabel" value="true" /> <setting name="useGeneratedKeys" value="false" /> <setting name="autoMappingBehavior" value="PARTIAL" /> <setting name="autoMappingUnknownColumnBehavior" value="WARNING" /> <setting name="defaultExecutorType" value="SIMPLE" /> <setting name="defaultStatementTimeout" value="25000" /> <setting name="defaultFetchSize" value="100" /> <setting name="safeRowBoundsEnabled" value="false" /> <setting name="mapUnderscoreToCamelCase" value="false" /> <setting name="localCacheScope" value="SESSION" /> <setting name="jdbcTypeForNull" value="NULL" /> <setting name="flushCacheEnabled" value="false"/> <setting name="batch" value="true"/> </settings> ``` 其中,最后一行 `batch` 属性表示开启批处理模式。 2. 编写Mapper文件: 在Mapper文件中编写批量插入的SQL语句,例如: ``` <insert id="batchInsert" parameterType="java.util.List"> insert into user (id, name, age) values <foreach collection="list" item="user" separator=","> (#{user.id}, #{user.name}, #{user.age}) </foreach> </insert> ``` 其中,`parameterType` 指定了传入参数的类型为 `List`,`foreach` 标签表示对传入的List进行遍历,生成批量插入的SQL语句。 3. 编写Java代码: 在Java代码中使用MyBatis的 `SqlSession` 对象执行批量插入操作,示例如下: ``` SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH); UserMapper userMapper = sqlSession.getMapper(UserMapper.class); List<User> userList = new ArrayList<>(); // 添加一百万条测试数据 for (int i = 0; i < 1000000; i++) { User user = new User(); user.setId(i+1); user.setName("user"+i); user.setAge(20+i); userList.add(user); } userMapper.batchInsert(userList); sqlSession.commit(); ``` 其中,`SqlSessionFactory` 是MyBatis的会话工厂对象,`UserMapper` 是Mapper接口对象,`userList` 是需要批量插入数据列表,最后需要调用 `commit()` 方法提交事务。 这样,就可以使用MyBatis进行高效的百万批量插入操作了。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云宝丶丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值