Scrapy框架的图片(文件)下载功能一些配置操作

Scrapy图片(文件)下载

这里介绍的是Scrapy框架自带的图片(文件)下载功能

一: 初步了解在Scrapy框架的源码中下载图片的文件

--->--->

在这个.py文件中

代码第69行是: 图片根据哪个属性下载

代码第97行是: 图片存放的路径

这里只是简单的了解一些scrapy图片下载的一些操作(其它源码自行百度)

************************重新/自定义***********************

二: 当图片爬虫代码逻辑写完整之后

在文件内

定义下载图片的Imagepipeline(与下载文件的FilesPipeline逻辑一样)

"""

逻辑:

1. 引入scrapy自带的ImagesPipeline

from scrapy.pipelines.images import ImagesPipeline

2. 创建类, 继承自ImagesPipeline

class Custom(定制的)ImagePipeline(ImagesPipeline):

3. 重写get_media_requests函数, 在函数中循环获取图片地址, 创建Request, 并且将item作为request.meta中参数, 传递到file_path函数中, 返回存放request对象的列表

def get_media_requests(self, item, info):

        return[Request(x, meta={'item': item}) for x in item['img_src']]

4. 重写file_path函数, 获取到request.meta中的item对象, 提取分类名称, 拼接完整的存放路径, 并且返回路径

def file_path(self, request, response=None, info=None):

            item = request.meta['item']

            xxx = item['xxx'](xxx保存文件夹名称和图片名)

            path = xxx+'/'+'xxx'+'.jpg'

            return path

5. 在中的ITEM_PIPELINES配置该类路径, 设置优先级, 配置IMAGES_URLS_FIELD, IAMGES_STORE

# 配置根据item的哪个属性下载图片

IMAGES_URLS_FIELD = 'img_src'

# 配置图片存放的目录

IAMGES_STORE = 'datas'

"""

img_src是下载图片的链接

这样就行运行Scrapy框架图片下载

注意: 1.只有这样也是不行的, 还要先将items.py文件配置好

关于这个请看博客的其它内容

2. 保存图片的属性必须是个列表, 不然会抛出异常

事例:

src: 是图片的属性接收的变量名