scrapy中响应码设置及errback的使用

最新推荐文章于 2023-12-20 19:35:22 发布

he-yin

最新推荐文章于 2023-12-20 19:35:22 发布

阅读量4.1k

点赞数 1

分类专栏： python 文章标签：爬虫 scrapy

本文链接：https://blog.csdn.net/HYESC/article/details/80426523

版权

python 专栏收录该内容

23 篇文章 0 订阅

订阅专栏

响应码和errback的关系

默认情况下，响应的status只有在200-300之间时，才会调用callback对应的方法，而其他的响应状态码会调用errback对应的方法。errback对应的代码如下(摘自https://doc.scrapy.org/en/latest/topics/request-response.html?highlight=failure#topics-request-response-ref-errbacks)：

def parse_err(self, failure):
        print('*' * 30)
        # log all failures
        self.logger.error(repr(failure))

        # in case you want to do something special for some errors,
        # you may need the failure's type:

        if failure.check(HttpError):
            # these exceptions come from HttpError spider middleware
            # you can get the non-200 response
            response = failure.value.response
            self.logger.error('HttpError on %s', response.url)

        elif failure.check(DNSLookupError):
            # this is the original request
            request = failure.request
            self.logger.error('DNSLookupError on %s', request.url)

        elif failure.check(TimeoutError, TCPTimedOutError):
            request = failure.request
            self.logger.error('TimeoutError on %s', request.url)

如果是重定向的响应码，要在errback中捕获，需要在scrapy.Request()的meta中设置dont_redirect=True ，此时假如返回302，就会进入errback，在其中可以调用response.status拿到状态码，同时response.url是原始的请求url，不是重定向的url，注意，此时的url已经加入dupefilter。
如果在settings中将非正常的状态码设置在了HTTPERROR_ALLOWED_CODES = [302, 404] 中，此时的302和404都不会再进入errback，而是直接进入callback中，同样可以得到status和url。
HTTPERROR_ALLOWED_CODES 的作用可以理解为规定了哪些非正常响应码可以进入callback，不设置的情况，同样可以在errback中进行响应操作。