scrapy爬取图片并保存

 通过item中的url下载并保存图片

from scrapy import Request
class DownloadImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):  # 下载图片
        print(item)
        for image_url in item['img']:
            yield Request(image_url,
                          meta={'item': item,
                                #'index': item['image'].index(image_url)
                                })  # 添加meta是为了下面使用

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']  # 通过上面的meta传递过来item
       # index = request.meta['index']  # 通过上面的index传递过来列表中当前下载图片的下标

        # 图片文件名request.url.split('/')[-1]
        image_guid = request.url.split('/')[-1]
        # settings设置的IMAGES_STORE  +  路径/文件名
        filename = '/{0}/{1}'.format(item['title'], image_guid)
        return filename
 
    #图片下载完毕后这个方法会被调用
    def item_completed(self, results, item, info):
        if isinstance(item, PhotoItem):
            image_paths = [x['path'] for ok, x in results if ok] # results=[(True, {'url': '...', 'path': '/.../1.jpg', 'checksum':'03d68f6ab9559687f801168609e7b336'}),]
            if not image_paths:
                print('item contains no images')
            else:
                #设置图片保存的路径供后续使用
                item['image_paths'] = image_paths
                return item
        else:
            return item

settings中配置

# ImagePipeline的自定义实现类
ITEM_PIPELINES = {
    'photo.pipelines.DownloadImagesPipeline':301,
}
#设置图片下载路径
IMAGES_STORE='F:\picture'
# 过期天数
IMAGES_EXPIRES = 90  #90天内抓取的都不会被重抓，可不设置