手把手教你scrapy + mongodb 爬虫爬取GooglePlay
这几天折腾了一个分布式爬虫,我自己也是刚开始学,查了很多资料,现在终于可以动了,我觉得应该发文纪念一下,也是一个总结.
scrapy是一个python的爬虫框架,可以让你很快的开发出一个爬虫,首先假定你已经安装了python, 你还需要安装一下scrapy,可以用pip来安装:
1. install Python-pip: sudo apt-get install python-pip
2.
原创
2016-11-15 03:43:25 ·
6425 阅读 ·
1 评论