解决scrapy管道储存不了图片的问题

于 2023-06-13 16:47:05 发布
阅读量230 收藏 1
点赞数 1
文章标签： scrapy python 数学建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cjh12340826/article/details/131190892
版权
本文主要介绍了如何解决Scrapy爬虫在使用ImagesPipeline过程中遇到的图片无法储存的问题。尝试更新Pillow模块和Scrapy框架，以及创建新项目和虚拟环境来解决问题。两种方法分别是：1. 新建项目和虚拟环境，卸载并重新安装Pillow；2. 直接通过命令行升级Scrapy。
摘要由CSDN通过智能技术生成

spider中的代码

 def parse(self, response):
        li_list=response.xpath('//*[@id="main"]/div/div[1]/ul/li')
        i=1
        for li in li_list:
            if i <4:
                src = li.xpath('./a/img/@src').extract_first()
                # print(div.xpath('./img/@style').extract())
                i += 1
                print(src)
                item = ImgsproItem()
                item['src'] = src
                yield item
            else:
                break

管道类中的代码：

from scrapy.pipelines.images import ImagesPipeline
import scrapy
class imgsPipeline(ImagesPipeline):
    print('kkkkk')
    # 根据图片地址进行图片数据请求
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['src'])
    # 指定图片储存的路径
    def file_path(self, request, response=Non
最低0.47元/天 解锁文章
cjh12340826
关注
python学习之第十七天(scrapy图像管道,文件管道)
小乌龟
08-15 1294
知识点目录 1.scrapy自带的pipeline有哪些? 2.如何定义图像管道 3.图像管道如何存储缩略图 图片存储的方式(下载图片,用scrapy自带的图像管道下载,用scrapy自带的文件管道下载,存储图片信息到数据库(sqlite3)) 4.图像管道常用的配置有哪些 5.如何定义文件管道 6.文件管道常用配置有哪些 7.动态网站如何使用scrapy采集 8.scrapy框架一般要配置哪些东...
python爬虫Scrapy框架笔记分享9-图片管道使用
qichangjian的博客
01-26 480
1. 介绍 Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。 这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片: 将所有下载的图片转换成通用的格式（JPG）和模式（RGB） 避免重新下载最近已经下载过的图片 缩略图生成 检测图像的宽/...
scrapy pipeline 管道 (图片,文件)
wahaha
08-04 1802
一.scrapy的图片管道可以方便的快速的批量的 下载图片连接 一. 普通使用方法 (1)settings. py 'scrapy. pipelines. imges. ImagesPipeline':300 FILES_ STORE = 'D:\\ cnblogs' 存放位置 FILES_ URLS_ FIELD = 'file_ urls' 下载图片url FILES_ ...
scrapy之图片处理管道
weixin_34148508的博客
10-22 278
scrapy框架内置了图片处理管道,用来对响应中的图片进行下载,可以直接使用,也可继承后自定义.1 直接使用在settings.py文件中加入:ITEM_PIPELINES={ #图片处理管道 #'scrapy.pipelines.p_w_picpaths.ImagesPipeline':2 } ...
scrapy框架-ImagesPipeline图像管道
分享我的点点滴滴，在成长路上与你同行！
06-16 724
1.爬虫文件 from ..items import GaoqingItem import requests class GqSpider(scrapy.Spider): name = 'gq' allowed_domains = ['gaoqing.la'] start_urls = ['http://gaoqing.la/?s=%E7%94%B5%E5%BD%B1'] def parse(self, response): #获取电影
scrapy爬取cosplay图片并保存到本地指定文件夹
12-21
在这个场景中，我们讨论的是如何使用 Scrapy 来爬取 cosplay 相关的图片，并将它们保存到本地的指定文件夹。下面将详细解释整个过程。 1. **创建 Scrapy 项目**： 首先，你需要通过命令行创建一个新的 Scrapy 项目...
使用scrapy图片管道下载图片
无空ty的博客
01-05 3076
前言Scrapy是Python语言下一个十分流行的爬虫框架，本文不对Scrapy本身做详细介绍。有关Scrapy的安装可以参考官网的安装指南，不过本人更推荐使用Anaconda，Anaconda集成了Python和一系列常用的的Python库，当然也包括Scrapy。安装好Anaconda，基本上就可以直接使用Scrapy了，免去了一些麻烦的依赖的安装。不过事情并非总是一帆风顺，我们依然有可能遇到一
scrapy 自定义管道保存图片、json、csv文件格式以及MySQL
weixin_42657103的博客
08-13 2377
在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。 1.保存图片： 开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）： import scrapy # Im...
Python中的scrapy下载并保存图片
sl01224318的博客
07-18 6521
在日常爬虫练习中，我们爬取到的数据需要进行保存操作，在scrapy中我们可以使用ImagesPipeline这个类来进行相关操作，这个类是scrapy已经封装好的了，我们直接拿来用即可。 在使用ImagesPipeline下载图片数据时，我们需要对其中的三个管道类方法进行重写，其中 — get_media_request 是...
Scrapy管道爬取图片
qq_56758480的博客
05-05 424
爬虫初学者进行管道下载数据和图片的代码，以及遇到的问题
scrapy 提取图片与信息（自定义管道）
wtftx的博客
05-16 861
利用 scrapy 框架提取图片以及有用的信息： python 3.7 scrapy 1.6 豆瓣top250电影 scrapy的管道文件（pipelines）： pipelines: 在一个工程里面，在pipelines.py文件中定义管道，管道实际上就是一个类，而这个类定义了一些方法（属性），用来处理我们传进类（管道）中的数据，在处理完以后，再返回被处理以后的数据。多个管道合用，首先是将一个数...
【scrapy框架】scrapy框架自带图片下载的管道ImagePipeline
May女子の博客
05-21 931
一、关于scrapy中pipleline的基本认识 Item Pipeline又称之为管道,顾名思义就是对数据的过滤处理,其主要的作用包括如下: 清理HTML数据。 验证爬取数据，检查爬取字段。 查重并丢弃重复内容。 将爬取结果保存到数据库。 二、几个核心的方法 创建一个项目的时候都会自带pipeline其中就实现了process_item(item, spider)方法 1、ope...
scrapy自定义管道实现图片分组保存
小楼一夜听春雨
07-21 807
1. 环境 1. 安装python 3.6+版本环境 2. 安装好scrapy以及image 安装命令: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple image 2. 创建Crawl
【Python_Scrapy学习笔记（十三）】基于Scrapy框架的图片管道实现图片抓取
禾戊之昂的博客
04-18 765
本文中介绍 如何基于 Scrapy 框架的图片管道实现图片抓取，并以抓取 360 图片为例进行展示。
python爬虫-scrapy基于ImagesPipeline管道类的图片数据爬取
m0_46500590的博客
02-17 501
在scrapy中，有一个专门基于图片请求和持久化存储的ImagesPipeline管道类，当我们想要使用scrapy实现图片数据的爬取时，可以直接使用该管道类 下面我们将要使用ImagesPipeline管道类爬取"全景视觉"网站的图片并保存到本地 pipelines.py：ImagesPipeline管道类写在pipelines.py文件中 # 导入ImagesPipeline类 from scrapy.pipelines.images import ImagesPipeline #ImagesPi
第十二章 Scrapy中间件与图片管道
weixin_47388144的博客
06-11 319
简介 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 在Scrapy中有两种中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider Middleware）。 安装 上一章已经安装过了，所以这一步可以跳过 知识 爬虫中间件与下载中间件 在项目工程中，有一个middlewares.py文件，如下： 关于每个函数调用的时刻，可以通过调试看日志输出，会更清晰 class Jobsp.
关于scrapy爬虫运行成功但没有图片保存在本地可能原因
m0_61559108的博客
03-27 1662
可能缺少pillow包，下载就可。
使用scrapy中imagePipeline下载图片，可以创建文件夹，但无法下载图片，解决方法
weixin_44636374的博客
08-07 1031
使用scrapy中imagePipeline下载图片，可以创建文件夹，但无法下载图片，解决方法
scrapy管道下载图片
最新发布
08-11
回答: 在使用Scrapy框架进行图片下载时，可以通过自定义管道来实现。首先需要在pipelines.py文件中导入ImagesPipeline类，并重写get_media_requests、file_path和item_completed三个方法。以下是一个示例代码： ```python from scrapy.pipelines.images import ImagesPipeline import scrapy import os class ImgsPipLine(ImagesPipeline): def get_media_requests(self, item, info): yield scrapy.Request(url=item['img_src'], meta={'item': item}) def file_path(self, request, response=None, info=None): item = request.meta['item'] filePath = item['img_name'] return filePath def item_completed(self, results, item, info): return item ``` 在代码中，get_media_requests方法负责获取需要下载的图片的请求，通过yield语句返回一个包含图片URL和相关信息的Scrapy请求对象。file_path方法用于指定图片的保存路径和名称，可以根据需要进行自定义设置。item_completed方法在下载完成后对item进行处理，这里简单地返回item。 然后，在settings.py文件中将自定义的管道添加到ITEM_PIPELINES中，如下所示： ```python ITEM_PIPELINES = { 'your_project_name.pipelines.ImgsPipLine': 1, } ``` 需要将'your_project_name'替换为你的项目名称。 这样，在执行爬虫时，Scrapy会自动调用自定义的管道类进行图片的下载和处理。123 #### 引用[.reference_title] - *1* *2* [Python中的scrapy下载并保存图片](https://blog.csdn.net/sl01224318/article/details/118873989)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *3* [scrapy爬虫之利用管道下载文件和图片](https://blog.csdn.net/fengzhilaoling/article/details/107336944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值