scrapy的各个模块的作用以及数据在从各个模块的流向

scrapy的各个模块的作用以及数据在从各个模块的流向

Engine：

​ 引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心

item:

​ 项目、它定义了爬取的结果的数据结构，爬取的数据会被赋值成为该Item对象

Scheduler:

​ 调度器，接收引擎发送过来的请求并将其放入消息队列，在引擎再次请求的时候将request（请求）给到Engine

Downloader：

​ 下载器，下载网页的内容，并将网页的内容返回给spiders

spiders：（重点！！！）

​ 蜘蛛，其内部定义了爬取的逻辑和网页的解析规则，它主要负责的是解析响应并生成提取结果和新的请求。

item pipeline：

​ 项目管道，负责处理蜘蛛从网页中抽取的项目，它的主要工作是清洗，验证，存储数据

Down loader Middlewares:

​ 下载中间件，位于引擎和下载器之间的钩子框架，主要是处理下载器和引擎之间的请求以及响应

spider Middlewares：

​ 蜘蛛中间件，位于引擎和蜘蛛中的中间件，位于引擎和蜘蛛之间的钩子框架，主要是处理蜘蛛输入的响应和输出结果以及新的请求

以下简单的描述了scrapy引擎中的数据流：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SKNRPS8X-1654040918799)(C:\Users\老高咯\AppData\Roaming\Typora\typora-user-images\image-20220601074712431.png)]

​ 1、Engine首先先打开一个网页，找到该网页的spider，并向Spider请求第一个要爬取的url

​ 2、Engine从Spider中获取到第一个要爬取的url，并通过scheduler（调度器）以Request的形式来调度

​ 3、Engine向Scheduler请求下一个要爬取的URL

​ 4、Scheduler返回一个要爬取的URL给Engine,Engine将URL通过Downloader Middlewares 发送给Downloader下载

​ 5、一旦下载完成，Downloader生成该页面的Response，并将其通过Downloader Middlewares（下载中间件）发送给Engine（调度器）

​ 6、Engine从下载器中介收到Response，并将其通过spiderMiddlewares 发送给spider处理

​ 7、spider处理response，并返回爬取到的item及新的Request给到Engine

​ 8、Engine将Spider返回的item给到管道（Item Pipeline），将新的Request给到scheduler

​ 9、重复2-8的步骤，直到Scheduler没有更多的Request，Engine关闭该网站，爬取结束

	9、重复2-8的步骤，直到Scheduler没有更多的Request，Engine关闭该网站，爬取结束