Scrapy工作流程图
具体流程步骤:
- 爬虫(spiders)将需要发送请求的url(request)交给引擎(engin);
- 引擎(engine)将request对象交给调度器(scheduler);
- 调度器(scheduler)经过(排队、入队等)处理后,重新把request对象交给引擎(engine);
- 引擎将request对象交给下载器(downloader),中间可能会经过中间件(downloaderMiddlewares);
- downloader向internet发送请求, 并接受下载响应(response);
- 下载器将响应response返回给engine;
- 引擎将其交给爬虫spiders,中间可能经过中间件(spiderMiddlewares);
- spiders处理响应response,提取数据(接着爬取的url或者item)返还给引擎(engine);
- 提取的数据交给ItemPipeline保存(本地或数据库); 提取的url交给调度器重复同样流程.