python爬虫超时自动重新执行，推荐使用神器@retry(）

在python爬虫工作的过程中，经常会因为各种原因出现请求超时，以前都是用传统的try和except方法，在超时时抛出异常结束整个程序，然后再重新启动。

整个方法只能告诉我们遇到了什么问题，却没能根本上解决问题。

当然也可以使用增加判断的方式来重新执行，但是作为一名怀有远大志向的新手，无法忍受代码如此不简洁、不优雅。

然后就找到了retry库。

给请求函数上戴个帽子，注销掉无用的try。

在遭遇请求超时，再自动尝试10次，每次间隔时间在1~2秒之间，大功告成！

代码如下：

from retrying import retry

@retry(stop_max_attempt_number=10, wait_random_min=1000, wait_random_max=2000)
def askURL(url):
    head = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.13 Safari/537.36"
    }
    request = urllib.request.Request(url, headers=head)
    # try：
    response = urllib.request.urlopen(request,timeout=5)
    html = response.read().decode("utf-8")
    # except urllib.error.URLError as e:
    #     if hasattr(e, "code"):
    #         print(e.code)
    #     if hasattr(e, "reason"):
    #         print(e.reason)

    return html

需要安装，但真的好用。