scrapy报错[DNS lookup failed]

一、问题描述

 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET http://xxx.xxx.com/fxxx.shtml> (failed 3 times): DNS lookup failed: no results for hostname lookup: xxx.xxx.com

 

 scrapy 运行报以上错误，异常捕获不了，网页本来都不能访问！

二、解决方法

有人说是allowed_domains的问题，但是我的允许域名的都是删除的，域名不对的可以自行查看

查阅官网，发现有errback，翻译过来就是他可以解决任何异常报错然后回调errback的函数！

 

example：

yield scrapy.Request(url, callback=callback, errback=errorback)


def errorback(self, response):
    #你自己的处理逻辑     
    pass