Scrapy爬虫遇到ERROR: Error downloading问题

最新推荐文章于 2022-07-10 17:26:56 发布
最新推荐文章于 2022-07-10 17:26:56 发布
阅读量8.2k 收藏 1
点赞数 2
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44423669/article/details/89838695
版权

利用scrapy框架爬取城市PM2.5数据，执行时报出ERROR: Error downloading问题
在这里插入图片描述

尝试1（未成功）

经过查询，了解到可能是twisted版本的问题，当版本为17以上则会报出此错误，而我安装的twisted为18.9.0的。但是在将twisted版本回滚至16.6.0时，出现了下面的报错
在这里插入图片描述还出现了下方两张截图内的error，在尝试修改setting信息和导包后发现皆没用
在这里插入图片描述
在这里插入图片描述
将twisted修改回最新版后，该报错消失。看来这次并非是因为twisted版本问题导致的

尝试2

再往下翻日志，看到这样一条信息
在这里插入图片描述提示我的chromedriver并未添加进环境路径内，于是将chromedriver加进Python安装目录bin下

运行，成功！

总结

一个bug背后的原因不一定完全相同，但总要多尝试才能摸清套路，或许下次遇到时就多了一个解决方案呀

斯瑞德
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Scrapy爬虫遇到的问题
sankeshuxjh的博客
05-12 2676
今天做python爬虫时，之前可以爬取的网站网址显示： 爬取内容为空。 依次查找问题： （1）INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 报错提示Scrapy爬虫没有任何数据返回，需要修改settings.py设置文件中的ROBOTST_OBEY，将其默认值True改为False。 （2）[scrapy.downloadermiddlewares.redirect] DEBUG: Red.
初学者scrapy框架爬取数据不成功，出现ERROR: Spider error processing错误问题的解决方法
最新发布
05-11
对于初学者而言，在使用Scrapy框架进行网络爬虫开发的过程中，经常会遇到各种各样的错误，其中一种较为常见的错误便是“Spider error processing”（蜘蛛错误处理）。这类错误不仅会打断爬虫的正常执行流程，还可能...
scrapy爬虫框架[scrapy.core.scraper]ERROR downloading Error processing
qq_44865123的博客
04-25 6092
[scrapy爬虫框架ERROR downloading error processing] [scrapy.core.scraper] ERROR: Spider error processing <GET http://xxx.xxxx.xxxx/xx.html> [scrapy.core.scraper] ERROR: Error downloading <GET http...
scrapy twisted.python.failure.Failure OpenSSL.SSL.Error
qq_38217747的博客
06-07 2362
twisted.python.failure.Failure OpenSSL.SSL.Error
Pytorch无法下载/读取数据集Error downloading（不必改源代码）
weixin_44126491的博客
03-29 5073
不必改源代码！不必改源代码！不必改源代码！ （看到许多教程说改源代码但是何必呢QAQ） 报错： Error downloading~~ 原因： 程序发现数据集没下载=》于是去目标网站下载数据集=》结果由于网速/墙下载不下来=》报错。 因此， 手动下载数据集放到目标文件夹，程序检测到已经下载好，就不会再去联网下载了。 以MNIST数据集为例 STEP 1：在想要存数据的地方，新建“{数据集名称}/raw/”路径。 如下载MNIST，需要新建MNIST文件夹，再在该文件夹下新建raw文件夹。 STEP 2：
解决使用scrapy中 ERROR：Error downloading
南蛮滴犊的博客
04-26 9243
scrapy crawl dangdang运行错误 本来用cmd可以运行的一个写好的爬虫程序，但是在Ubuntu上竟然不能实现，结果报错为： 于是，网上查各种办法 有让改DNS的 改的时候，将用户切换到root（一开始只是打开时自己用户），改完之后，程序变能运行，当时误以为原因就是DNS的问题，突然想到，是不是切换到root起了作用，于是，我又将上面的结果改
记一次 git lfs Smudge error: Error downloading 错误的处理。
kshixiang的专栏
12-01 8720
记一次 git lfs Smudge error: Error downloading 错误的处理。 问题： 拉取最新的工程代码 执行git pull 命令，原本一切顺利但是突然出现了 Smudge error: expected json type got "" 的错误。 解决过程: 从字面理解是未获取到对应的文件使用了git lfs prune 打算清理掉lfs的缓存来处理 (无效) 思考了一下打算先取消lfs对json文件的追踪使用命令 git lfs untrack "*.js
重装系统后python环境问题后续——scrapy生成spider报错：Fatal error in launcher: Unable to create process using
12-20
重装系统后python环境问题后续：scrapy报错：Fatal error in launcher: Unable to create process using'”c:\users\administrator\appdata\local\programs\python\python37\python.exe” “D:\Users\Administrator\...
Python抓取框架Scrapy爬虫入门：页面提取
09-21
可以通过Python的包管理器pip安装Scrapy： ```bash pip install scrapy ``` 安装完成后，可以通过命令行创建一个新的Scrapy项目： ```bash scrapy startproject project_name ``` 这将创建一个名为`project_name...
可视化的Scrapy爬虫管理平台
08-22
Scrapy是一个强大的Python爬虫框架，它为网络数据抓取提供了高效的工具集。然而，对于大型项目或团队协作，管理多个Scrapy爬虫可能会变得复杂。这就是可视化的Scrapy爬虫管理平台发挥作用的地方。这个项目旨在提供一...
yum安装出现Error downloading packages错误及解决方法
热门推荐
lqh_linux的博客
10-14 2万+
一.问题出现 # yum -y install git 显示： Error downloading packages 清理yum缓存和建立yum缓存后，还是不行 # yum clean all # yum makecache 二.解决方法 查看日志/var/log/yum.log，但只显示错误结果，原因查不到。 所以还是直接把yum和python重新安装一遍 参考：https://blog.csdn.net/qq_36653942/article/details/80712088 1.卸载python
快速解决ERROR: Exception: Traceback (most recent call last)的办法
weixin_56016076的博客
07-10 1万+
在新电脑上使用cmd的pip安装python第三方库selenium时候，遇到了ERROR: Exception: Traceback (most recent call last)的问题，搞了好久，最后解决了。解决方法非常简单，就是开手机热点。原本是用的家里千兆网线，cmd下载速度非常低，而且出错之前就是进度条卡顿不动，然后报错。最后开了wifi后解决了问题，而且速度比有线网要快些。...
python爬虫框架怎么,python爬虫框架搭建中的问题
weixin_33199715的博客
03-26 533
C:\Python27\python.exe C:/first/main.py2016-10-09 23:19:48 [scrapy] INFO: Scrapy 1.2.0 started (bot: first)2016-10-09 23:19:48 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'first.spiders',...
Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
努力，让生活变得更美好
06-19 456
Scrapy版本0.14.4 出现问题现象： ERROR: Error downloading &lt;GET http://xxxxx  CRC check failed   解决方法   1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'   明确表示不支持任何形式的压缩格式，避免程序的解压缩操作 这个方法不一定有效，具体根据服...
小白运行Scrapy出错，求大佬指教！！！！！！！！！！！！！！
CurtainOfNight的博客
02-03 3412
import scrapy # 需要继承scrapy.Spider类 class mingyan(scrapy.Spider): name = "mingyan2" # 定义蜘蛛名 def start_requests(self): # 由此方法通过下面链接爬取页面 # 定义爬取的链接 urls = [ 'htt...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值