背景故事:
公司的MySQL数据库关联太复杂了,结构难缠,关系混乱,为了后续项目的方便查询,老板交代,需要将MySQL的数据全部迁移至MongoDB中去。
这MySQL数据量大概在40M左右,数据量5w+,说起来不算太大,如果一条一条的读取迁移,任务也能完成,具体实施起来,效率就是慢的一批。果断转换思路。
ε=(´ο`*)))唉,想当年也是操作数据库的一把好手,不曾想,在这爬虫领域逍遥自在了许久,竟忘了这前世的情缘。(咳咳咳!扯远了)
回归正题,单条迁移,效率不太理想,那就来个步子大一点的方法,批量迁移数据。
具体实施的思路是:
1.查询MySQL数据库,获取数据。
2.将数据插入Monodb
难点总结:
查询MySQL数据库的问题在于,每次获取多少条的数据,最终目的是为了获取所有数据,但是也得考虑内存的负荷,如果数据量过大的话,电脑直接宕机了。
MongoDB对于插入的数据类型有要求,需要将查询出的数据统一成MongoDB能够接收的类型。
下面就让我们来一起揭开数据批量迁移的神秘面纱吧
上代码: