本文介绍了Scrapy爬虫框架的基本架构和工作原理，包括Scrapy Engine、Scheduler、Downloader、Spiders、Item Pipeline以及中间件的作用。Scrapy Engine负责组件间的通讯和数据传递；Scheduler进行请求调度；Downloader负责下载；Spiders处理响应并提取数据；Item Pipeline处理和存储数据。文章还详细阐述了Scrapy的执行流程，并解析了项目目录结构，帮助读者理解Scrapy的使用和组织方式。
对于特别小的爬虫，一般直接编写就可以了，但一般面对一个项目级别的爬虫，都选择用框架
框架可以理解为一个 等你填坑的代码：
1. 为你编写好那些必须的、重复的代码
2. 为你模块化好每一个组件，自动建立组件之间的联系，这样就方便使用者清晰了解它的流程和各功能的定制
Scrapy就是一个爬虫常用的框架，我们先来了解一下它的结构和原理：
组件图
组件介绍
Scrapy Engine: 这是引擎，负责Spiders、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等等！（像不像人的身体&#
1688
3542
3302
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
