本文详细介绍了Scrapy的架构和数据流，包括引擎、调度器、下载器、爬虫、Item Pipeline、下载中间件和Spider中间件的角色。强调了下载中间件在处理Response时的角色，特别是在实现重试机制中的应用。此外，还提到了使用Scrapy创建和运行爬虫的命令，以及Spider Middlewares和Downloader Middlewares的主要方法。
1. Scrapy旧版架构图(绿线是数据流向)
Spiders(爬虫)：负责处理所有Responses，从中分析提取数据，获取Items字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Engine(引擎)：负责Spider、Item Pipeline、Downloader、Scheduler中间的通讯、信号以及数据传递等。
Scheduler(调度器)：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列和入队，当引擎需要时，交还给引擎。
Downloader(下载器)：负责下载引擎发送的所有Requests请求，并将其获取到的Responses交还给引擎，由引擎交给Spider来处理。
Item Pipeline(管道)：负责处理Spider中获取到的Items，并进行后期处理(如详细分析、过滤、存储等)。
Downloader Middlewares(下载中间件)：一个可以自定义下载功能的组件。
Spider Middlewares(Spider中间件)：一个可以自定义引擎和Spider交互的组件。
通信的功能组件：如进入Spider的Responses和从Spider出去的Requests。
2. Scrapy新版架构图
1. 组件介绍
Scrapy Engine(引擎)：引擎负责控制数据流在所有组件中的流动，并在相应动作发生时触发事件。
Scheduler(调度器)
最低0.47元/天 解锁文章
扫一扫
1453
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
