scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103

最新推荐文章于 2022-08-07 21:43:36 发布
最新推荐文章于 2022-08-07 21:43:36 发布
阅读量360 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MISS_XDY/article/details/114293890
版权

错误原因是在请求资源的时候没有使用完整的url

只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:

所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为以下：

    def get_media_requests(self, item, info):
        yield scrapy.Request('https:' + item['src'])

 

biu piu biu piu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy中遇到的ValueError: Missing scheme in request url:问题解决
Slim's Hello World
10-18 4622
昨天在爬寻医问药网站的时候出现了一个没有遇到过的问题： ValueError: Missing scheme in request url: 查了百度，bings都没能解决，归纳起来网上的解决办法围绕的都是图片路径等详细问题，归根结底就是url并不完整，可以单纯地通过： url = "http"+response.xpath("....")[0] 这样的方式解决。 解决办法 然鹅，我的代码...
2021-07-27
weixin_44957755的博客
07-27 699
Web 万维网，基于互联网。 三大部分：HTML+CSS+JavaScript（+HTTP协议） 注意：TCP/IP协议只负责数据的传输，细节内容是通过HTTP协议进行制定协商的 1.HTML <!DOCTYPE html> //首先是文档版本声明,此时是HTML 5 <html> //html标签 <head> //头部标签 <meta charset="utf-8"> //设置字符编码 <title
使用urllib爬取图片时出现的错误urllib.error.ContentTooShortError
replat-xin
11-16 8684
urllib.error.ContentTooShortError: &lt;urlopen error retrieval incomplete 这是因为urlretrieve下载文件不完整造成的 可以接受这种异常重新写一个方法处理这个问题，可以在去调用这个方法重新去下载，也可以重新用requests下载。 因为重新调用这个方法，有时下载会超时。参考博客https://blog.csdn....
js打印页面图片(批量)
qq_42208679的博客
10-18 2341
js打印页面图片(批量) html代码： <body> <button onclick="printThisWindow()">打开</button> </body> js代码 let list = `<div class="imgBox">` for (var i = 0; i < 10; i++) { //防止批量打印时打印界面重复调用 if(i == 0){ list += `<img src=
scrapy下载不了图片，提示403错误
kjing的专栏
10-14 908
问题：图片链接在浏览器打开没问题，但是在代码里面就是下载不了数据，提示403错误 可能原因： 原因一：抓取的网站有反爬虫机制，需要设置user-agent，Referer，cookie，时间间隔之类的，网上大部分文章也是这样说。 原因二：headers设置问题，这也是我遇到的问题，重点来了，原来ImagePipeline的headers是用settings里面的DEFAULT_REQUEST_HEADERS默认值为基础再叠加上自己设置的headers，也就是说你不止在下载图片的pipeline里面设置
scrapy报错：ValueError: Missing scheme in request url: h
weixin_30551963的博客
01-11 144
URL必须是一个List，所以遇到该错误只需要将url转换成list。 例如： start_urls = ['someurls'] 转载于:https://www.cnblogs.com/AbsolutelyPerfect/p/8267791.html
用scrapy框架爬虫时遇到的错误ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic 9/2021
qq_52154193的博客
07-10 217
话不多说 这是程序运行报错来的错误 一、解决办法 1.在item[‘src’]前面加上https:这才是正确的一个网址：
Scrapy爬虫报错： ValueError:Missing scheme in request url: h
心绪万千
06-01 2827
使用scrapy内置的ImagesPipeline来完成自动下载图片时， 报错ValueError:Missing scheme in request url: h 解决： settings.py中配置的 IMAGES_URLS_FIELD = "front_image_url"，front_image_url所对应的item原来写成item["front_image_url"] =fro...
scrapy爬取图片报错ValueError: Missing scheme in request url: h
小楼一夜听春雨
11-21 578
首先分析原因：因为使用ImagesPipeline时，往 image_urls 传入的是一个字符串，应该传入一个列表 修改前代码 执行报错：ValueError: Missing scheme in request url: h 修改后代码，执行成功
基于scrapy爬取51job爬虫系统源码.zip
03-05
基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job...
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar
04-18
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视...
Scrapy爬取网站：Quotes to Scrape
10-17
这是一个scrapy官方提供的网站：http://quotes.toscrape.com/ ，网页很简单，麻雀虽小五脏俱全。就用这个网站详细演示下Scrapy基础使用方法。参见博客：https://blog.csdn.net/qq_42776455/article/details/83116164
Scrapy-redis爬取美榜整站高清美女图片.rar
最新发布
05-31
python入门
TOP250豆瓣电影短评：Scrapy 爬虫+数据清理/分析+构建中文文本情感分析模型
07-08
Scrapy 爬虫 + 数据清理 + 数据分析 + 构建情感分析模型 一、爬取豆瓣Top250的短评数据 movie_item movie_comment movie_people 二、数据清理与特征工程+统计分析 movie_item 总评分最高的前10部电影 最受欢迎的...
使用scrapy中imagePipeline下载图片，可以创建文件夹，但无法下载图片，解决方法
weixin_44636374的博客
08-07 941
使用scrapy中imagePipeline下载图片，可以创建文件夹，但无法下载图片，解决方法
ValueError: Missing scheme in request url: h
繁城落叶
06-03 9033
相关URL必须是一个List，所以遇到该错误只需要将url转换成list即可。 例如： start_urls = ['someurls'] 如果是images_url也是如此，使用item存储的时候改成list即可。 item['images_urls'] = ['image_url']
scrapy爬取图片并下载报错ValueError:Missing scheme in request url: h解决办法
青衫折扇的博客
04-29 379
这里我直接说解决办法了 修改前 修改后 images_url = response.xpath("//a[@class='l mr11']/img/@src").extract_first() # 图片地址 item['images_url'] = images_url images_url = response.xpath("//a[@class='l mr11']...
python base64编码的图片保存到本地
热门推荐
zn505119020的专栏
12-22 34万+
import os import base64 sss ="""/9j/4AAQSkZJRgABAQEASABIAAD//gAyUHJvY2Vzc2VkIEJ5IGVCYXkgd2l0aCBJbWFnZU1hZ2ljaywgejEuMS4wLiB8fEIy/9sAQwAGBAUGBQQGBgUGBwcGCAoQCgoJCQoUDg8MEBcUGBgXFBYWGh0lHxobIxwWFiAsICMm
使用scrapy框架爬取图片遇到的两种错误： ValueError: Missing scheme in request url:TypeError: Request url must be str
qq_40877575的博客
01-02 1577
使用scrapy框架爬取图片遇到的两种错误： ValueError: Missing scheme in request url: 首先遇到这种情况有很多原因，有的冒号后面可能就是一个字母或字符，这是因为你提取的href图片链接在处理的时候出现问题，检查检查是否使用了for循环将你提取的链接字符串拆分了。然后我这种就是链接完整正常但是还是报这种错误，这是因为我忽略了加http：，这种链接放浏览器会自动加前缀，但scrapy不会自动加，所以需要自己加上。下面我放下我的代码 爬虫文件中parse方法
用scrapy爬取 https://www.biqg.net/book120001/35976330.html 网页的内容
05-17
以下是使用Scrapy爬取https://www.biqg.net/book120001/35976330.html网页内容的代码示例： 首先，创建一个Scrapy项目，然后在`items.py`文件中定义要爬取的数据项： ```python import scrapy class BiqgItem...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值