手把手教你scrapy + mongodb 爬虫爬取GooglePlay

这几天折腾了一个分布式爬虫，我自己也是刚开始学，查了很多资料，现在终于可以动了，我觉得应该发文纪念一下，也是一个总结．

scrapy是一个python的爬虫框架，可以让你很快的开发出一个爬虫，首先假定你已经安装了python, 你还需要安装一下scrapy，可以用pip来安装：

1. install Python-pip: sudo apt-get install python-pip

2. install scrapy: sudo pip install scrapy

OK, 我们现在就用scrapy来创建一个爬虫：

$ scrapy startproject myFirstCrawler

上面我们就创建了一个基本的爬虫结构，默认情况下是没有爬虫那个文件的，只有一些其他的配套的文件如下：

$ tree
.
├── myFirstCrawler
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── __init__.py
└── scrapy.cfg

根据创建时的提示，我们可以让scrapy为我们提供一个模板spider：

$ cd myFirstCrawler

$ scrapy genspidermySpider example.com

下面我们就有了一个scrapy框架的完整结构

$ tree