jdbc 批量插入优化

项目中有一个大数据插入的功能是通过jdbc的批处理实现的,但效率一直不理想。

最近研究了一下,做如下总结:

1) 如果id使用的是uuid,一定要保证有序。

因为通常数据库会为主键创建聚集索引。而聚集索引是用来指明数据排序规则的。所以,对于非有序的id,插入的同时会做大量的排序操作,很影响效率。

另外,我们在尝试的过程中有使用apache axis.jar 下的SimpleUUIDGen生成有序id,但该生成操作特别耗时,不推荐使用。

最后我们采取的是最简单粗暴的方法。自己写生成uuid的方法。

return new StringBuilder().append("z").append(System .currentTimeMillis()).append("-").append(System .nanoTime()).toString();

2) PreparedStatement 执行executeBatch()后,记得clearBatch()

pstmt.executeBatch();
pstmt.clearBatch();

3) 对表索引进行优化

再插入的过程中,数据库会自动维护索引,会消耗一定性能。索引是一把双刃剑,请合理使用。

 

简要记录3点,希望对后来者有帮助。

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值