twisted.internet.error.TimeoutError错误的解决方法

少数链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次，若超过180s且三次后仍没有得到数据，就会放弃请求出现twisted.internet.error.TimeoutError 错误。此时就出现了爬取失败的情况。

原因：当网络无法满足在180s内下载完所有的请求数量，就会出现此类错误。

解决办法：这里做个示例，具体情况具体分析

1、降低同时请求的数量

CONCURRENT_REQUESTS = 2

2、 设置合适的超时时间，

DOWNLOAD_TIMEOUT = 1800

3、最后为了保险起见在下载中间件中，捕获这个报错，并返回request，让他重新请求这个对象：

from twisted.internet.error import TimeoutError
def process_exception(self, request, exception, spider)：

    if isinstance(exception, TimeoutError):
                return request