解决Max retries exceeded with url的问题

解决Max retries exceeded with url的问题

 

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: 
(Caused by <class 'socket.gaierror'>:

python脚本请求url，大量请求报错Max retries exceeded with url
解决方法：

1、增加重试连接次数：

requests.DEFAULT_RETRIES = 5

2、关闭多余的链接：

  requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

s = requests.session()
s.keep_alive = False

3、请求时增加缓冲延时

 time.sleep(60)