爬虫scrapy框架运行流程

Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。

Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。

 

（一）运作流程

1.首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。

2.Scheduler（排序，入队）处理后，经ScrapyEngine（引擎）【DownloaderMiddlewares(下载中间件，可以附带User_Agent, Proxy代理等)】交给Downloader。

3.Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）【经ScrapyEngine（引擎），SpiderMiddlewares(spider中间件)】交给Spiders。　　　　　

4.Spiders处理response，提取数据并将数据经ScrapyEngine（引擎）交给ItemPipeline保存（可以是本地，可以是数据库）。

5.提取url重新经ScrapyEngine（引擎）交给Scheduler（调度器）进行下一个循环。直到无Url请求程序停止结束。