学习爬虫之Scrapy框架学习（1）---Scrapy框架初学习及豆瓣top250电影信息获取的实战！(1)

注意：图中的弧线的意义：

如果，在小明拿到信息核对之后发现这些不是自己所需的，那么，小明就会告诉管理人员，这些不是我所要的，我要重新请求一下别的东西，然后管理人员就就会将小明进行重新排队！！！

1.进入正题：

---

（

spiders网页爬虫

items项目

engine引擎

scheduler调度器

downloader下载器

item pipelines项目管道

middleware中间设备，中间件

）

数据流：

上图显示了Scrapy框架的体系结构及其组件，以及系统内部发生的数据流（由红色的箭头显示。）

Scrapy中的数据流由执行引擎控制,流程如下：

首先从网页爬虫获取初始的请求

将请求放入调度模块，然后获取下一个需要爬取的请求

调度模块返回下一个需要爬取的请求给引擎

引擎将请求发送给下载器，依次穿过所有的下载中间件

一旦页面下载完成，下载器会返回一个响应包含了页面数据，然后再依次穿过所有的下载中间件。

引擎从下载器接收到响应，然后发送给爬虫进行解析，依次穿过所有的爬虫中间件

爬虫处理接收到的响应，然后解析出item和生成新的请求，并发送给引擎

引擎将已经处理好的item发送给管道组件，将生成好的新的请求发送给调度模块，并请求下一个请求

该过程重复，直到调度程序不再有请求为止。

中间件介绍:

(1)下载中间件

下载中间件是位于引擎和下载器之间的特定的钩子，它们处理从引擎传递到下载器的请求，以及下载器传递到引擎的响应。

如果你要执行以下操作之一，请使用Downloader中间件：

在请求发送到下载程序之前处理请求（即在scrapy将请求发送到网站之前）

在响应发送给爬虫之前

直接发送新的请求，而不是将收到的响应传递给蜘蛛

将响应传递给爬行器而不获取web页面;

默默的放弃一些请求

(2)爬虫中间件

爬虫中间件是位于引擎和爬虫之间的特定的钩子，能够处理传入的响应和传递出去的item和请求。

如果你需要以下操作请使用爬虫中间件：

处理爬虫回调之后的请求或item

处理start_requests

处理爬虫异常

根据响应内容调用errback而不是回调请求

2.各个组件介绍：

---

Scrapy Engine(引擎)

引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。

scheduler（调度器)

调度程序接收来自引擎的请求，将它们排入队列，以便稍后引擎请求它们。

Downloader（下载器)

下载程序负责获取web页面并将它们提供给引擎，引擎再将它们提供给spider。

spider（爬虫）

爬虫是由用户编写的自定义的类，用于解析响应，从中提取数据，或其他要抓取的请求。

Item pipeline（管道)

管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理，验证和持久性（如将数据存储在数据库中）

（3）简单使用

=====================================================================