使用scrapy框架爬取图片
一,出现问题:
出现“ModuleNotFoundError: No module named ‘scrapy.contrib’ ”的原因是因为没有名为“scrapy.contrib”的模块
如图所示,是我所设置的piplines中的设置
进行爬取时就会出现报错
二,解决方法:
如下面代码所示
如下代码都在pipelins上进行修改
from scrapy.pipelines.images import ImagesPipeline
ITEM_PIPELINES = {
# 'tupian.pipelines.TupianPipeline': 300,
# 'scrapy.contrib.pipeline.images.ImagesPipeline': 300,
'scrapy.pipelines.images.ImagesPipeline':300,
}
我把保存的图片路径设置到了D盘
IMAGES_STORE='D:/img'
三,结果展示:
会在D盘产生一个img的文件夹,在img的文件夹会生成一个full文件夹,图片就在文件夹中