第四周 scrapy爬虫框架

学习网址：https://www.icourse163.org/learn/BIT-1001870001?tid=1002781006

 

Scrapy 不是一个功能库，而是一个爬虫框架。

爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。

爬虫框架是一个半成品，能够帮助用户实现专业的网络爬虫。

 

1

1 Engine从Spider处获取爬取请求（request）

2 Engine将爬取请求转发给Scheduler,用于调度

3 Engine从Scheduler处获得下个爬取的请求

4 Engine将爬取请求通过中间发送给Downloader

5 爬取网页后，Downloader形成响应（Response）通过中间件发给Engine

6 Engine将收到的响应通过中间件发送给Spider处理

7 Spider处理响应后产生爬取项(scraped Item)和新的爬取请求(Requests)给Engine

8 Engine将爬取项发送给Item Pipeline（框架出口）

9 Engine将爬取请求发送给Scheduler

 

转载于:https://www.cnblogs.com/cherro/p/9311306.html