scrapy 爬取图片并重命名

 一、不需要重命名的版本 ，只要匹配到图片地址，写到item里面，yield出来，并在settings.py中加入

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1,
}
IMAGES_STORE = 'images'   #保存的文件夹名字
IMAGES_URLS_FIELD = 'pic_src'  #item中存的图片地址字段  

项目目录，为了说明images的位置

运行爬虫，就可以自己下了

二 需要自己命名图片地址，在一个页面中匹配到

from scrapy.pipelines.images import ImagesPipeline

每一个中间件都是一个类，找到这个类，先省略了无关的方法。下面这个方法是产生保存文件路径的。

class ImagesPipeline(FilesPipeline):
    """Abstract pipeline that implement the image thumbnail generation logic

    """    
    def file_path(self, request, response=None, info=None):
        image_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
        return 'full/%s.jpg' % (image_guid)

这里 它是自己hash出了一个无意义的名字，想要传入我们在页面中匹配的item的名字传入到这里。需要修改

    def get_media_requests(self, item, info):
        # return [Request(x) for x in item.get(self.images_urls_field, [])]
        yield scrapy.Request(url=item['pic_src'][0], meta={'item': item})

这里是改后的，注释的是之前的，这里可以将每次的item都向下传递，然后file_path修改为

    def file_path(self, request, response=None, info=None):
        print('-----'*20)
        # image_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
        image_guid = request.meta['item']['name']
        print(image_guid)
        return 'full/%s.jpg' % (image_guid)

 这样就可以把页面匹配的名字给图片命名。

 

我这里是直接改的源码，因为可能也就下这一次。其实应该继承这个类，重写这两个类方法，然后把自己的类名加到item_pipelines中

ITEM_PIPELINES = {
    'scrapy.pipelines.images.自己写个类': 1,
}

下面放下spider文件

# -*- coding: utf-8 -*-
import scrapy


class Spider2Spider(scrapy.Spider):
    name = 'spider2'
    allowed_domains = ['zzk.xywy.com']
    start_urls = [f'http://zzk.xywy.com/{i}_gaishu.html' for i in range(1, 6911)]

    def parse(self, response):
        from symptom_xywy.items import SymptomXywyItem
        item = SymptomXywyItem()
        img_src = "//div[contains(@class, 'rec-imgbox')]/img/@src"
        name = "//div[contains(@class, 'jb-name')]/text()"
        img_src = response.xpath(img_src).extract()
        name = response.xpath(name).extract()[0]
        print(img_src)
        item['pic_src'] = img_src #需要匹配一个图片的地址  在setting中设置 为想要下载图片地址
        item['name'] =name #这里是为了 给图片命名
        yield item
    

 

 

另附scrapy流程

1 创建项目 scrapy startproject project1

2 cd project1 

3 创建爬虫 scrapy genspider spider1 yao.xywy.com

4 改spiders里的spider1 

5 setting robot协议 设置为false

 

使用管道 items 里写想要存储的字段

在spider里面导入 存完 自动到管道里，在setting里面 设置使用管道，

xpath匹配 ： 多个class 匹配不上，br会识别出多个列表，通过string(.)可以解决

all_xpath = "//div[@id='pTop']//div[@class='d-direction']/p"
all_data = response.xpath(all_xpath)
all_data = all_data.xpath('string(.)').extract()

 

scrapy shell 网址   可以在交互模式下测试xpath规则

开始下载

scrapy crawl spider1 -o ret.json -s FEED_EXPORT_ENCODING=UTF-8