Python如何优雅的设置爬虫重试次数
工作中经常碰到的问题就是,当我们在使用爬虫发送请求的时候。某个方法出现了异常,重试几次循环重复一个方法是很常见的。一提到重复操作,我们第一反应就是使用循环。接下来咱们用while看一下示例代码:
import requests
url ="www.baidu.com"
i=0
total=2000
while i < total:
try:
result=requests.get(url)
return result.status_code
except:
i+=1
在代码外面在加一层循环。这个代码看起来已经不是丑的问题了。那接下来我们使用一个优雅的方式。python retrying模块。retrying是一个python的重试包,可以用来自动重试一些可能运行失败的程序段,retrying提供一个装饰器函数retry,被装饰的函数就会在运行失败的情况下重新执行,默认只要一直报错就会不断重试。首先安装一下
pip install retrying
下面是示例代码:
from retrying import retry
@retry(stop_max_attempt_number=2000)
def test():
url ="www.baidu.com"
result=requests.get(url)
return result.status_code
test()