scrapy中spider、Middleware、Downloader Middleware、pipline等各组件之间的关系分析

先借一张图

scrapy各组件关系图.jpg

该图详细的的描述了各组件间数据处理经过的方法，非常全面，通过该图可以很好对scrapy各部分进行扩展处理。