在scrapy中,有一个专门基于图片请求和持久化存储的ImagesPipeline
管道类,当我们想要使用scrapy实现图片数据的爬取时,可以直接使用该管道类
下面我们将要使用ImagesPipeline
管道类爬取"全景视觉"网站的图片并保存到本地
pipelines.py
:ImagesPipeline
管道类写在pipelines.py
文件中
# 导入ImagesPipeline类
from scrapy.pipelines.images import ImagesPipeline
#ImagesPipeline专门用于图片下载,下载过程支持异步和多线程
class ImgPipeLine(ImagesPipeline):
# 重写父类的三个方法