向sqlserver数据库中批量写入海量数据

向sqlserver数据库的某个数据表中批量写入海量数据(千万条以上)

可能大家要问哪里来的这许多数据,还真是巧了,这几天就被我碰到了,这些暂且不表。

刚开始是用的ADO.Net entity frameWork,也是实体数据的访问方式,等到保存数据(database.SaveChanges())时候,我的天,居然一小时没有写完,遂不解,仔细分析,按这样速度需要7个小时,是可忍孰不可忍呢。于是换方式,用ADO.net 数据集方式进行,于是乎用数据集的update,但是这也没有我想象中的快,也得三个小时的时间吧。

接下来换sql语句的方式,每几万条数据的时候就执行一次sql的连接字符串,这里用到了stringBuilder,但是速度也是不敢恭维。

第二天,发现了SqlBulkCopy,批量复制,还真是好用,具体用法请查MSDN,请注意设置它的超时时间BulkCopyTimeout属性,否则可是会超时的哦,不过千万级的数据还是会内存溢出的,这里我采用了分批进行复制的方法,即分两次或者三次把这些数据复制到不同的数据表中,最后用T -sql语句进行数据表的对拷。

补充一下:最后用时不超过10分钟。

转载于:https://www.cnblogs.com/flyinghigher/archive/2010/08/12/1798008.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值