python之采用分布式爬虫200万条百科信息，并mongo存储实例

任务要求：

1.爬虫200万条数据

2.采用临时文件方式存储临爬虫过程积累的大量但又无用的临时数据

3.采用mongo库进行数据存储，并设置用户权限

任务方案：

转载于:https://www.cnblogs.com/xuehaiwuya0000/p/10605148.html