爬虫时报错 yield self.engine.open_spider(self.spider, start_requests)pika.exceptions.AMQPConnectionError

报错信息中有个ip,在本地ping一下发现能ping通,所以不是网络问题。

 错误信息再仔细看一下,定位错误原因。这个错误是由于无法连接到AMQP(高级消息队列协议)服务器引起的。AMQPConnectionError表示无法与AMQP服务器建立连接。一般报错多在配置文件的,解决起来很复杂,优先考虑代码是否有问题。

一开始我以为是pika版本问题,所以从1.3系列降到1.1系列,但还是一样的报错。

现在开始排查代码。首先,检查到在url中添加域名时http写成了https,以后在书写时要注意爬取网站的url是否准确。

然后,telnet 报错信息提到的端口,试过之后端口打不开,可能是官网有限制,所以我在pipelines.py文件里注释掉报错信息提到的connection属性的相关代码。此报错解决了,但是爬虫依旧不能运行。于是继续排查。

然后发现,代码在用到selenium的wait_time时class必须填写页面存在的,所以返回要爬取的页面检查,换了已存在的class。(页面上选一个要采集的数据所在的div的class就可以了)

爬虫可以正常运行了,接下来就是完善和修改具体的需求。

  • 9
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值