scrapy框架的工作流程

scrapy框架的工作流程：

1. 首先spiders（爬虫）将需要发送请求的url（request）经scrapyEngine（引擎）交给scheduler（调度器）。
2. scheduler（排序，入队）处理后，经scrapyEnging，DowmloaderMiddlewares（可选，主要有User-Agent，Proxy代理）交给Downloaders。
3. Downloaders向互联网发送请求，并接收下载响应（response），将响应经scrapyEngine，spiderMiddlewares（可选）交给spiders。
4. spiders处理response，提取数据并将数据经scrapyEngine交给Itempipline保存（可以是本地可以是数据库）。
   提取的url重新经scrapyEngine交给scheduler进行下一个循环，知道无url请求时程序停止结束。