mongodb -- sqlserver数据转移到mongodb

本文介绍了如何手动将2000万级别的数据从SQL Server 2008迁移到MongoDB,作者通过编写C#程序实现,每次取10000条数据进行迁移,整个过程耗时约1小时。程序设计考虑了内存管理和效率问题,发现MongoDB在内存中存储数据然后写入,占用空间比SQL Server更大。
摘要由CSDN通过智能技术生成

现在有一个2000万级别的数据量的数据库,数据存在sqlserver 20008中。想要将此数据转移到mongdb中。网上有看说有个工具可以将mysql的数据直接转移到mongodb中,但是又要将sqlserver 2008数据先转移到mysql中,各种折腾后,各种试验,楞是没能成功,一怒之下,自己动手写程序来做这个数据迁移。

之前有讲到mongodb一次性插入10000数据的效率,确实很快,然后也测试了下,从sqlserver 一次性选择10000条数据也是在1秒之内,想想,干脆一不做二不休,写了一个程序,采取for循环 每次从数据库取10000条,然后插入mongdo,直到循环完所有数据。2000万条数据,对于计算机而言,小事啊 为了这个,特意做了下效率问题,测试了下,一次循环下来,3秒之内能解决,算算,一分钟就是20万数据,二个小时就可以完全搞完。(事实也确实如此,一个多小时搞定了,早知道如此,就不要花了那么多时间去找工具,找各种导出教程,各种纠结,各种安装);

  数据库结构很简单,是一个比较出名的某某hotel的数据,纯学术研究。

程序代码我放在这里了:有兴趣的朋友可以看看。勿喷。如果你有更好的办法。欢迎留言ÿ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值