Python爬虫之Ssrapy架构了解

下面是Scrapy架构图，包括组件以及在系统中发生的数据流的概览。

组件

Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器Scheduler

调度器从引擎接受request并将它们入队，以便之后引擎请求他们时提供给引擎。

下载器Downloader

下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders

Spider是用于分析response并提取Item和跟进URL的类。每个spider负责处理一个特定(或一些)网站。

Item Pipeline

负责处理被Spider提取出来的Item。典型的处理有清理，验证以及持久化(例如数据存储到数据库中)。

下载器中间件Downloader middlewares

下载器中间件是在引擎及下载器之间的特定钩子，处理Downloader传递给引擎的response。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

Spider中间件Spider middlewares

spider中间件是在引擎及Spider之间的特定钩子，处理Spider的输入(response)和输出(items和requests).

数据流 Data flow

Scrapy中的数据流由引擎控制，过程如下：

1、引擎打开一个网站，找到处理该网站的Spider，并向该spider请求第一个要爬取的URL。

2、引擎从Spider拿到第一个爬取的URL并在调度器Scheduler以request调度。

3、引擎向调度器请求下一个要爬取的URL。

4、调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求request方向)转发给下载器Downloader。

5、一旦页面下载完毕，下载器生成一个该页面的response，并通过下载中间件(返回response方向)发送给引擎。

6、引擎从下载器中接收到response并通过Spider中间件(输入方向)发送给Spider处理。

7、Spider处理response并返回爬取到的Item以及新的request给引擎。

8、引擎(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)request给调度器。

9、(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。