python requests max retries_python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionP...

搜索热词

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443):

Max retries exceeded with url: https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923

(Caused by NewConnectionError(':

Failed to establish a new connection: [Errno -2] Name or service not known',))

经过一番查询，发现该错误是因为如下：

http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。

ip被封

程序请求速度过快。

解决办法如下：

第一种方法

try:

page1 = requests.get(ap)

except requests.exceptions.ConnectionError:

r.status_code = "Connection refused"

第二种方法：

request的连接数过多而导致Max retries exceeded

在header中不使用持久连接

'Connection': 'close'

或

requests.adapters.DEFAULT_RETRIES = 5

第三种方法：

针对请求请求速度过快导致程序报错。

解决方法可以参考以下例子：

import time

while 1:

try:

page = requests.get(url)

except:

print("Connection refused by the server..")

print("Let me sleep for 5 seconds")

print("ZZzzzz...")

time.sleep(5)

print("Was a nice sleep, now let me continue...")

continue

相关文章

总结

如果觉得编程之家网站内容还不错，欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。

如您喜欢交流学习经验，点击链接加入交流1群：1065694478(已满)交流2群：163560250