一、问题描述
[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET http://xxx.xxx.com/fxxx.shtml> (failed 3 times): DNS lookup failed: no results for hostname lookup: xxx.xxx.com
scrapy 运行报以上错误,异常捕获不了,网页本来都不能访问!
二、解决方法
有人说是allowed_domains的问题,但是我的允许域名的都是删除的,域名不对的可以自行查看
查阅官网,发现有errback,翻译过来就是他可以解决任何异常报错然后回调errback的函数!
example:
yield scrapy.Request(url, callback=callback, errback=errorback)
def errorback(self, response):
#你自己的处理逻辑
pass