scrapy爬虫框架[scrapy.core.scraper]ERROR downloading Error processing

[scrapy爬虫框架ERROR downloading error processing] [scrapy.core.scraper] ERROR: Spider error processing <GET http://xxx.xxxx.xxxx/xx.html> [scrapy.core.scraper] ERROR: Error downloading <GET http://xxx.xxxx.xxxx/xx.html>

问题解决思路 首先说一下最老实检查代码错误的方法:从代码开头或者你觉得没问题的开始,把后面都注释了(两个’’'多行注释,#单行注释),然后运行程序,一般只要代码没错都是不会报错的。直到你运行到报错时就该注意了,你这行代码可能有问题,可以开始改代码了。这个方法说不上高效率,但很实用,大家应该都会吧。(改代码有时会把人搞蒙逼的。。)

言归正题,你要了解提示downloading、URL啥的错误一般来说肯定是链接的问题,而且一般都有提示。比如下图:

在这里插入图片描述
继续下滑,下面还有个提示:
在这里插入图片描述
你也看到了有个invalid URI,人家都说白了是你的URL无效了,你就老老实实检查URL吧。我的是链接里多了个空格。。

还有这个错误说是什么error processing,继续往下看
在这里插入图片描述
还有这个提示:在这里插入图片描述
我这个问题就是这个代码的里面第26行的hcurl这个链接出的问题,你要么把网站的那个链接直接搬过来试一下,用正则表达式提取出来的链接说不好还有问题(你正则表达式啥的怕是有问题,改改)。反正我是这样做的。
你去检查这个准没错,这两个错误大把握是你链接的问题,不嫌麻烦就用我开头的方法试代码,绝对能试出来是哪里的问题。省得全网找答案还找的一脸懵逼。

error processing网上还有用户说是以下原因:
1.xpath表达式错误xpath错误
2.callback = self.parse别加引号
3.其它形形色色的不想说了,懒得找就像我一样老老实实调试代码就好啦,费力不讨好,不如自己动手实在。

  • 7
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值