Python爬虫框架Scrapy工作流程

Scrapy工作流程图

具体流程步骤:

1. 爬虫(spiders)将需要发送请求的url(request)交给引擎(engin);
2. 引擎(engine)将request对象交给调度器(scheduler);
3. 调度器(scheduler)经过(排队、入队等)处理后,重新把request对象交给引擎(engine);
4. 引擎将request对象交给下载器(downloader),中间可能会经过中间件(downloaderMiddlewares);
5. downloader向internet发送请求, 并接受下载响应(response);
6. 下载器将响应response返回给engine;
7. 引擎将其交给爬虫spiders,中间可能经过中间件(spiderMiddlewares);
8. spiders处理响应response,提取数据(接着爬取的url或者item)返还给引擎(engine);
9. 提取的数据交给ItemPipeline保存(本地或数据库); 提取的url交给调度器重复同样流程.