twisted.internet.error.TimeoutError错误的解决方法

少数链接会出现请求超时,当出现请求超时时,爬虫会自动重试三次,若超过180s且三次后仍没有得到数据,就会放弃请求出现twisted.internet.error.TimeoutError 错误。此时就出现了爬取失败的情况。

原因:当网络无法满足在180s内下载完所有的请求数量,就会出现此类错误。
解决办法:这里做个示例,具体情况具体分析
1、降低同时请求的数量
CONCURRENT_REQUESTS = 2
2、 设置合适的超时时间,
DOWNLOAD_TIMEOUT = 1800
3、最后为了保险起见在下载中间件中,捕获这个报错,并返回request,让他重新请求这个对象:
from twisted.internet.error import TimeoutError
def process_exception(self, request, exception, spider):

    if isinstance(exception, TimeoutError):
                return request
发布了48 篇原创文章 · 获赞 9 · 访问量 3万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览