Python HTTP request 使用 retry 策略

受服务器和网络影响, 没法保证网络请求一次就能成功, 有时需要多尝试几次

Python 的 urllib3 和 requests 均支持 retry, 但它们都不是标准库

urllib3 使用 retry

测试 URL 为 https://httpbin.org/status/500, 只要访问就返回 500

from urllib3.util import Retry
from urllib3 import PoolManager

url_500 = 'https://httpbin.org/status/500'

retries = Retry(total=10, backoff_factor=0.5, status_forcelist=[500])
manager = PoolManager(retries=retries)

response = manager.request('GET', url_500)

最多重试 10次, 每次重试之间的间隔为 {backoff factor} * (2 ** ({number of total retries} - 1)), 在这期间使用 sleep 等待, 达到最大重试次数后抛出异常 urllib3.exceptions.MaxRetryError

返回 500, 对于 Retry 而言, 整个请求过程没有任何问题, 默认不会再次请求, status_forcelist=[500] 表示返回 500 依然要重试

重试条件

1. 连接时的错误
   异常为 ConnectTimeoutError, 对应参数 connect
2. 读取时的错误
   异常为 ReadTimeoutError 和 ProtocolError, 对应参数 read
3. 其它错误
   对应参数 other
4. 重定向
   每重定向一次消耗一次重试次数, 对应参数 redirect

以上参数默认为 None

如果参数设为 False, 表示发生该种情况时, 不会再次请求, 而是直接抛出对应的异常, 对于重定向表现为不消耗重试次数

这些参数也可以给一个整数值, 表示对应情况的最大重试次数

url_redirect = 'https://httpbingo.org/redirect/5'

retries = Retry(total=3)
manager = PoolManager(retries=retries)

response = manager.request('GET', url_redirect)

整个 URL 需要 5 次重定向, 超过最大重试次数, backoff_factor 默认为 0, 每次重试之间没有间隔, 该示例很快就会抛出 MaxRetryError 异常

如果不需要重试可以改为

response = manager.request('GET', url_redirect, retries=False)

requests 使用 Retry

from requests.packages.urllib3.util import Retry
from requests.adapters import HTTPAdapter
from requests import Session

url_500 = 'https://httpbin.org/status/500'

retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500])
with Session() as s:
    s.mount('https://', HTTPAdapter(max_retries=retries))
    s.get(url_500)