scrapy框架之五大组件工作流程

声明：
本文工作流程参考了：https://www.cnblogs.com/wszxdzd/p/10269222.html 并做了一些修改补充
工作流程请直接查看 第四条组件工作流程

1. scrapy 五大核心组件的工作流程

当执行爬虫文件时，5大核心组件就在工作了

1.1 五大组件简介：

spiders 引擎（Scrapy Engine）管道（item Pipeline）调度器（Scheduler）下载器（Downloader）

Scrapy Engine(引擎):

负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器):

它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：

负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交