第一次写博客,记录下问题点方便后面查看
在使用requests多次访问同一个ip时,尤其是在高频率访问下,很容易出现
Max retries exceeded with url 的错误
百度到方法:
headers = {
'Connection': 'close',
}
r = requests.get(url, headers=headers)
再次测试请求,过一段时间还是出现了问题
然后自己摸索了一段时间,发现在返回体中有个close()方法,使用完后该问题也就解决了,附上最终代码
def get(url):
try:
res = requests.get(url)
# 如果响应状态码不是 200,就主动抛出异常
res.raise_for_status()
# 关闭连接 !!!--非常重要
res.close()
except Exception as e:
logger.error(e)
else:
return res.json()
第一次写博客,不足的地方请大家多多见谅!