java :database 大数据量数据的插入/更新操作 solution

项目需要有一个批量upload 数据功能,此功能要求批量upload 的数据需要进行业务数据库表的update insert

每一次操作的数据量大约10k,对业务表的操作性能要求比较高,即要以最小的代价影响业务表的使用

使用数据库:sqlserver 2014  语言:java


使用jdbc 的batch 操作,在除了主键以外没有其他索引的情况下,对原数据进行 delete-- insert 操作,大约10s 左右


对业务表的操作时间太长,无法接受


solution:把数据load 到临时表中,然后采用表对表操作,如insert into business_table select .. from temp_table where conditions

                  对业务表操作时间从10s降低到0.6s


超出业务预期

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值