强大的爬虫框架 Scrapy

本节来介绍一个强大的爬虫框架 Scrapy。Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。

1. Scrapy的架构

Scrapy 的架构图如下所示：

下面对上图中的各个组件做介绍：

1. Engine：引擎负责控制数据流在系统所有组件中流动，并在相应动作发生时触发事件。
2. Scheduler：调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
3. Downloader：下载器负责获取页面数据并提供给引擎，而后提供给spider。
4. Spiders：Spider 是 Scrapy 用户编写用于分析 response 并提取 item(即获取到的 item)或额外跟进的 URL 的类。 每个 spider 负责处理一个特定(或一些)网站。
5. Item Pipelines：Item Pipeline 负责处理被 spider 提取出来的 item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。
6. Downloader Middlewares：下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理 Downloader 传递给引擎的 response。 其提供了一个简便的机制，通过插入自定义代码来扩展 Scrapy 功能。
7. Spider Middlewares：Spider 中间件是在引擎及 Spider 之间的特定钩子(specific hook)，处理 spi