初识Scrapy、第一个案例

1. Scrapy框架

Scrapy功能非常强大，爬取效率高，相关扩展组件多，可配置和可扩展程度非常高，它几乎可以应对所有反爬网站，是目前Python中使用最广泛的爬虫框架。

1.1 Scrapy介绍

1.1.1 架构介绍

Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

它可以分为如下的几个部分：

Engine：引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。

Item：项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。

Scheduler：调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎。

Downloader：下载器，下载网页内容，并将网页内容返回给蜘蛛。

Spiders：蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。

Item Pipeline：项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。

Downloader Middlewares：下载器中间件，位于引擎和下载器之 的钩子框架，主要处理引擎与下载器之间的请求及响应。

Spider Middlewares：蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。

1.1.2 数据流

Scrapy中的数据流由引擎控制，数据流的过程如下：

(1) Engine首先打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取的URL。

(2) Engine从Spider中获取到第一个要爬取的URL，并通过Scheduler以Request的形式调度。

(3) Engine向Scheduler请求下一个要爬取的URL。

(4) Scheduler返回下一个要爬取的URL给Engine，Engine将URL通过Downloader Middlewares发给 Downloader下载。

(5) 一旦页面下载完毕，Downloader生成该页面的Response，并将其通过Downloader Middlewares发送给Engine。

(6) Engine从下载器中接收到Response，并将其通过Spider Middleware发送给Spider处理。

(7) Spider处理Response，并返回爬取到的Item及新的Request给Engine。

(8) Engine将Spider返回的Item给Item Pipeline，将新的Request给Scheduler。

(9）重复第(2)步到第(8)步，直到Scheduler中没有更多的Request，Engine关闭该网站，爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持Scrapy最大限度地利用了网络带宽，大大提高了数据爬取和处理的效率。

1.1.3 项目结构

Scrapy框架是通过命令行来创建项目的，代码的编写还是需要IDE。项目创建之后，项目文件的格式如下所示：

scrapy.cfg

project/

　　__init__.py

　　items.py

　　pipelines.py

　　settings.py

　　middlewares.py

　　spiders/

　　　　__init__.py

　　　　spider1.py

　　　　spider2.py

　　　　...

这里各个文件的功能描述如下：

scrapy.cfg：它是Scrapy项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容

items.py：它定义Item数据结构，所有的Item的定义都可以放这里。

pipelines.py：它定义Item Pipeline的实现，所有的Item Pipeline的实现都可以放这里。

settings.py：它定义项目的全局配置。

middlewares.py：它定义Spider Middlewares和Downloader Middlewares的实现。

spiders：其内包含一个个Spider的实现，每个Spider都有一个文件。

1.2 Scrapy入门

接下来就写一个简单的项目，让我们对Scrapy的基本用法和原理有大致的了解。

1.2.1 创建项目

首先安装Scrapy模块，再创建Scrapy项目。

pip install scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

创建Scrapy一个项目，项目文件可以直接用scrapy命令生成:

scrapy startproject tutorial

这个命令可以在任意文件夹运行。

这个命令将会创建一个名为tutori