Scrapy修改下载图片名字

源码下载:http://download.csdn.net/download/adam_zs/10167921

1.项目结构,下载图片


2.代码介绍

pipelines.py

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy.http import Request


# 下载图片Pipeline
class DownImagePipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield Request(image_url, meta={'item': item, 'index': item['image_urls'].index(image_url)})

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']  # 通过上面的meta传递过来item
        index = request.meta['index']
        car_name = item['car_name'][index] + "." + request.url.split('/')[-1].split('.')[-1]
        down_file_name = u'full/{0}/{1}'.format(item['country'][0], car_name)
        return down_file_name

pcauto_spider.py

# -*- coding: utf-8 -*-
import scrapy
from pcauto.items import PcautoImage


class PcautoSpider(scrapy.Spider):
    name = "pcauto"
    allowed_domains = ["pcauto.com.cn"]
    start_urls = [
        'http://www.pcauto.com.cn/zt/chebiao/guochan/',
        'http://www.pcauto.com.cn/zt/chebiao/riben/',
        'http://www.pcauto.com.cn/zt/chebiao/deguo/',
        'http://www.pcauto.com.cn/zt/chebiao/faguo/',
        'http://www.pcauto.com.cn/zt/chebiao/yidali/',
        'http://www.pcauto.com.cn/zt/chebiao/yingguo/',
        'http://www.pcauto.com.cn/zt/chebiao/meiguo/',
        'http://www.pcauto.com.cn/zt/chebiao/hanguo/',
        'http://www.pcauto.com.cn/zt/chebiao/qita/',
    ]

    def parse(self, response):
        item = PcautoImage()
        srcs = response.xpath('//div[@class="dPic"]/i[@class="iPic"]/a/img/@src').extract()
        car_name = response.xpath('//div[@class="dTxt"]/i[@class="iTit"]/a//text()').extract()
        country = response.xpath('//div[@class="th"]/span/a//text()').extract()
        item['image_urls'] = srcs
        item['car_name'] = car_name
        item['country'] = country
        yield item


3.运行项目

pycharm中运行begin.py

from scrapy import cmdline

# cmdline.execute("scrapy crawl dmoz".split())

cmdline.execute("scrapy crawl pcauto".split())



Scrapy是一个强大的Python爬虫框架,可以用于抓取网页数据。在Scrapy中,可以使用自定义的Pipeline来实现图片下载功能。 首先,你需要在Scrapy项目中创建一个自定义的Pipeline来处理图片下载。在该Pipeline中,你可以使用Python的requests库或者Scrapy提供的内置函数来下载图片。 以下是一个简单的示例代码,展示了如何在Scrapy中实现图片下载功能: ```python import scrapy from scrapy.pipelines.images import ImagesPipeline class MyImagesPipeline(ImagesPipeline): def get_media_requests(self, item, info): for image_url in item['image_urls']: yield scrapy.Request(image_url) def file_path(self, request, response=None, info=None): # 自定义图片保存路径 image_guid = request.url.split('/')[-1] return 'images/%s' % (image_guid) ``` 在上述代码中,`get_media_requests`方法用于获取要下载图片URL,并通过`yield`关键字将其传递给Scrapy引擎进行下载。`file_path`方法用于指定图片保存的路径。 接下来,在你的Scrapy项目的settings.py文件中,将自定义的Pipeline添加到ITEM_PIPELINES配置项中: ```python ITEM_PIPELINES = { 'your_project_name.pipelines.MyImagesPipeline': 1, # 其他的Pipeline... } ``` 最后,在你的Spider中,将需要下载图片的URL添加到item中,并在item中定义一个字段来存储这些URL: ```python import scrapy class MySpider(scrapy.Spider): name = 'my_spider' def start_requests(self): # 构造请求并发送给Scrapy引擎 yield scrapy.Request(url='http://example.com', callback=self.parse) def parse(self, response): # 解析网页内容,提取图片URL并存储到item中 item = {} item['image_urls'] = response.css('img::attr(src)').getall() yield item ``` 在上述代码中,`parse`方法中使用了CSS选择器来提取网页中的图片URL,并将其存储到item的`image_urls`字段中。 这样,当你运行Scrapy爬虫时,图片将会被下载并保存到指定的路径中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值