scrapy实现定制化的图片下载 (1)
一. scrapy简介
关于框架简介和重要的组件可以参考:
零基础scrapy项目结构简介-python批量获取百度图片到本地
scrapy框架根据关键字下载百度图片可以参考:
scrapy ImagesPipeline根据关键字下载百度图片到本地
二、源码images.py和ImagesPipeline
scrapy源码地址:https://github.com/scrapy/scrapy/tree/master/scrapy
images.py代码地址:
https://github.com/scrapy/scrapy/tree/master/scrapy
下面是images.py的代码,可以看到ImagesPipeline继承了FilesPipeline,实际上FilesPipeline还继承了MediaPipeline,即三者关系如下图: