scrapy框架的工作流程:
- 首先spiders(爬虫)将需要发送请求的url(request)经scrapyEngine(引擎)交给scheduler(调度器)。
- scheduler(排序,入队)处理后,经scrapyEnging,DowmloaderMiddlewares(可选,主要有User-Agent,Proxy代理)交给Downloaders。
- Downloaders向互联网发送请求,并接收下载响应(response),将响应经scrapyEngine,spiderMiddlewares(可选)交给spiders。
- spiders处理response,提取数据并将数据经scrapyEngine交给Itempipline保存(可以是本地可以是数据库)。
提取的url重新经scrapyEngine交给scheduler进行下一个循环,知道无url请求时程序停止结束。