通过item中的url下载并保存图片
from scrapy import Request
class DownloadImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info): # 下载图片
print(item)
for image_url in item['img']:
yield Request(image_url,
meta={'item': item,
#'index': item['image'].index(image_url)
}) # 添加meta是为了下面使用
def file_path(self, request, response=None, info=None):
item = request.meta['item'] # 通过上面的meta传递过来item
# index = request.meta['index'] # 通过上面的index传递过来列表中当前下载图片的下标
# 图片文件名request.url.split('/')[-1]
image_guid = request.url.split('/')[-1]
# settings设置的IMAGES_STORE + 路径/文件名
filename = '/{0}/{1}'.format(item['title'], image_guid)
return filename
#图片下载完毕后这个方法会被调用
def item_completed(self, results, item, info):
if isinstance(item, PhotoItem):
image_paths = [x['path'] for ok, x in results if ok] # results=[(True, {'url': '...', 'path': '/.../1.jpg', 'checksum':'03d68f6ab9559687f801168609e7b336'}),]
if not image_paths:
print('item contains no images')
else:
#设置图片保存的路径供后续使用
item['image_paths'] = image_paths
return item
else:
return item
settings中配置
# ImagePipeline的自定义实现类
ITEM_PIPELINES = {
'photo.pipelines.DownloadImagesPipeline':301,
}
#设置图片下载路径
IMAGES_STORE='F:\picture'
# 过期天数
IMAGES_EXPIRES = 90 #90天内抓取的都不会被重抓,可不设置