scrapy框架的流程

流程图

流程分析：

1. 爬虫开启，通知管道open_spider
2. start_urls中所有请求放入调度器队列
3. 从调度器中取出一个请求通过引擎 --> 下载器中间件 --> 交给下载器
4. 下载器去Internet获得响应
5. 响应通过下载器中间件 --> 引擎 --> 爬虫中间件 --> 交给爬虫
6. 爬虫经过处理
   • 若是请求对象，返回爬虫中间件 --> 引擎 --> 放入调度器
   • 若是数据，不经过爬虫中间件，通过引擎交给管道
7. 管道进行数据的清洗及保存
8. 爬虫关闭，通知管道close_spider