现在有一个2000万级别的数据量的数据库,数据存在sqlserver 20008中。想要将此数据转移到mongdb中。网上有看说有个工具可以将mysql的数据直接转移到mongodb中,但是又要将sqlserver 2008数据先转移到mysql中,各种折腾后,各种试验,楞是没能成功,一怒之下,自己动手写程序来做这个数据迁移。
之前有讲到mongodb一次性插入10000数据的效率,确实很快,然后也测试了下,从sqlserver 一次性选择10000条数据也是在1秒之内,想想,干脆一不做二不休,写了一个程序,采取for循环 每次从数据库取10000条,然后插入mongdo,直到循环完所有数据。2000万条数据,对于计算机而言,小事啊 为了这个,特意做了下效率问题,测试了下,一次循环下来,3秒之内能解决,算算,一分钟就是20万数据,二个小时就可以完全搞完。(事实也确实如此,一个多小时搞定了,早知道如此,就不要花了那么多时间去找工具,找各种导出教程,各种纠结,各种安装);
数据库结构很简单,是一个比较出名的某某hotel的数据,纯学术研究。
程序代码我放在这里了:有兴趣的朋友可以看看。勿喷。如果你有更好的办法。欢迎留言ÿ