（Python爬虫requests报错）解决requests.exceptions.ProxyError: HTTPSConnectionPool错误

已于 2024-04-13 03:05:16 修改
阅读量1.1k 收藏 4
点赞数 11
分类专栏： python 爬虫 文章标签： python 爬虫 开发语言
于 2024-04-04 11:26:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41168737/article/details/137370502
版权
文章讲述了在抓取地图信息时遇到的ProxyError，原因可能是连接数过多、IP被封或请求太快。提供了两种解决方案：一是通过随机选择headers中的User-Agent，二是适当延迟请求时间。鼓励读者在评论区分享反馈。
摘要由CSDN通过智能技术生成

报错信息

今天抓取某地图信息出现报错，顺便记录一下希望可以帮助到更多遇到这个bug不会解决的小伙伴），报错代码如下：

equests.exceptions.ProxyError: HTTPSConnectionPool(host='xxx.baidu.com', port=443): Max retries exceeded with url:

报错原因：

  • 1.、http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。
  • 2、ip被封
  • 3、程序请求速度过快。

下面两种解决方法小伙伴们任选其一即可！！！

第一种解决方法：构建headers列表每次随机选一个：

headers_list = [
    {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G955U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; SM-G981B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 13_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/87.0.4280.77 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.109 Safari/537.36 CrKey/1.54.248666'
    }, {
        'user-agent': 'Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Safari/537.36 CrKey/1.54.250320'
    }, {
        'user-agent': 'Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+'
    }, {
        'user-agent': 'Mozilla/5.0 (PlayBook; U; RIM Tablet OS 2.1.0; en-US) AppleWebKit/536.2+ (KHTML like Gecko) Version/7.2.1.0 Safari/536.2+'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.0; en-us; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.0; SM-G950U Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G965U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.1.0; SM-T837A) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.80 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; en-us; KFAPWI Build/JDQ39) AppleWebKit/535.19 (KHTML, like Gecko) Silk/3.13 Safari/535.19 Silk-Accelerated=true'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.4.2; en-us; LGMS323 Build/KOT49I.MS32310c) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows Phone 10.0; Android 4.2.1; Microsoft; Lumia 550) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Mobile Safari/537.36 Edge/14.14263'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 10 Build/MOB31T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 4.4.2; Nexus 4 Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 5X Build/OPR4.170623.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.1.1; Nexus 6 Build/N6F26U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 6P Build/OPP3.170518.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 7 Build/MOB30X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)'
    }, {
        'user-agent': 'Mozilla/5.0 (MeeGo; NokiaN9) AppleWebKit/534.13 (KHTML, like Gecko) NokiaBrowser/8.5.0 Mobile Safari/534.13'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 9; Pixel 3 Build/PQ1A.181105.017.A1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.158 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; Pixel 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 11; Pixel 3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.181 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
    }
]

headers = random.choice(headers_list)

第二种方法解决方法：放慢请求速度

time.sleep(10)

以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果有用欢迎点赞收藏文章谢谢支持，博主才有动力持续记录遇到的问题！！！ 

极简网络科技
关注
  • 11
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
requests.exceptions.SSLError: (MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443):
jacke121的专栏
06-02 292
requests.exceptions.SSLError: (MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443):
python爬虫常见异常共1页.pdf.zip
10-28
Python爬虫在开发过程中会遇到各种异常，这些异常通常是由于网络问题、编码错误、解析错误、权限限制等原因造成的。理解并处理这些异常是编写稳定、高效爬虫的关键。以下是一些Python爬虫中常见的异常及应对策略： ...
解决：requests.exceptions.ProxyError:HTTPSConnectionPool(host=‘xxx.com’,port=443):Max retries exceeded
nings666的博客
12-14 5810
背景 在使用之前的代码时，报错：requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.xxxx.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1108: The handshake operation timed out'))) ... ...
【爬虫】requests.exceptions.ProxyError: HTTPSConnectionPool(host=‘www.ip.cn’, port=443)
weixin_43941438的博客
01-20 698
这个错误表明在使用代理时出现了问题，HTTP 401 错误表示授权失败。可能因为代理服务器需要身份验证，而你的请求没有提供有效的身份验证信息。简单来说：你使用的代理IP地址失效了。更换新的代理IP地址。
已解决（Python爬虫requests报错）requests.exceptions.ProxyError: HTTPSConnectionPool
热门推荐
努力让自己发光，对的人才能迎着光而来
07-05 2万+
成功解决（Python爬虫requests报错）：requests.exceptions.ProxyError: HTTPSConnectionPool
python请求报错：:requests.exceptions.ProxyError: HTTPSConnectionPool
最新发布
qq_20878673的博客
06-30 275
在发送网页请求时，发现很久未响应，最后报错： requests.exceptions.ProxyError: HTTPSConnectionPool， 原因：是因为发送请求时开启了fiddler, 解决方法：关闭fiddler,重新发请求。
requests.exceptions.ProxyError 问题解决
qq_45427131的博客
11-30 4915
今天做BUU一个文件上传+爆破文件名时爆出以下错误，查阅资料发现是python3.6以后写法不一样 ProxySchemeUnknown Traceback (most recent call last) ProxySchemeUnknown 老版本的proxy proxy = {'http':'127.0.0.1:8080', 'https':'127.0.0.1:8080'} 新版本的proxy proxy = {'http':'http://127.0.0.1:8080', 'https':'h
解决requests.exceptions.ProxyError: (MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=
qlkaicx的博客
05-09 1811
如果你无法解决代理设置的问题，另一个选择是离线使用模型和tokenizer。首先，你需要从另一个有互联网访问权限的环境下载BERT模型和tokenizer的相关文件，然后将它们传输到你的工作环境中。这通常发生在网络环境有限制，比如需要代理访问互联网的环境中。如果上述方法都不适用，并且你认为应该能直接访问互联网，那么可能需要检查和修复你的网络配置，如确保没有防火墙或安全软件阻止Python访问网络。如果你处在一个需要使用代理服务器的网络环境下，你需要在你的环境中配置代理。为你的实际代理服务器的地址和端口号。
报错解决MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443):xxx“)
weixin_43495948的博客
10-03 2万+
那我的机器就是没有数据传输过来，当然前提是你自己的服务器一定要有网络连接（可以尝试ping www.baidu.com来检测自己机器是否有网络）。首先造成这种错误的原因主要是因为你的服务器没有办法连接huggingface的原因，你可以直接在你的服务器上尝试能否直接ping。就可以运行你的代码了，但是这里运行的时候有个小问题，
pycharm运行huggingface问题解决思路
jiangnianwangluo的博客
01-03 3550
​ urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/models/Systran/faster-whisper-large-v2/revision/main (Caused by ProxyError('Unable to connect to proxy', SSLError(SSLEOFError(8, '
【已解决】requests.exceptions.ConnectionError: HTTPSConnectionPool(host=‘huggingface.co 2’, port=443): Ma
BetrayFree的博客
12-05 2447
而SOCKS代理则更加通用和灵活。能想到这种办法是因为在代码里能给的模型走代理是可以拉取到的，但是代码却没有拉取到，说明代码是没用走代理的，这个时候我们只需要强制让代码走指定代理就可以了，而这个就要用到linux下的全局代理工具proxychain。所以根据这样来说，我的第一种配置方法是完全可以的，在实际执行中也是可以下载的，也就是可以连接huggingface并执行下载任务。观察上面的图我们就能看出来，配置的代理路径是我们在局域网下的ip地址，所以对于代理软件来说，必须允许局域网，否则可能无法映射到。
python（request）常见错误记录
qq_40296570的博客
09-18 2192
连接超时requests.exceptions.ConnectTimeout 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘github.com’, port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x7f1b16da75f8.
python爬虫开发常见问题及其解决方法和经验总结.docx
04-14
Python爬虫开发中常见问题及其解决方法和经验总结主要包括以下几点： 网络请求问题 请求失败或超时：设置合理的超时时间，并使用异常处理机制（如try-except），当出现requests.exceptions.Timeout异常时进行重试...
Python爬虫爬取会计师协会网站的指定文章.zip
07-31
except (requests.exceptions.HTTPError, requests.exceptions.ConnectionError) as e: print(f'Error: {e}') ``` 综上所述，这个压缩包包含了一个使用Python爬虫技术从会计师协会网站抓取文章的完整示例，涵盖...
requests-2.3.0.tar.gz
02-25
5. **错误处理**：Requests库提供了异常处理机制，如 `requests.exceptions.RequestException`, `requests.exceptions.HTTPError` 等，帮助开发者捕获和处理可能出现的问题。 6. **会话对象**：`Session` 类用于...
requests-0.13.7.tar.gz
02-25
12. **错误处理**：Requests库提供了丰富的异常处理机制，如`requests.exceptions.RequestException`是所有异常的基类，其他如`ConnectionError`、`Timeout`、`TooManyRedirects`等。 13. **代理设置**：如果你需要...
Python关于requests.exceptions.ProxyError异常的问题（已解决）
zhengrong9的博客
12-01 2万+
前言 文章中间所提到的解决方案皆可一试，能解决95%的人的问题，看到最后大概能帮99%的人解决，剩下的1%自求多福吧。 正文 今天上午在爬取b站视频弹幕时，抛出了这样一个异常： requests.exceptions.ProxyError: HTTPSConnectionPool(host='api.bilibili.com', port=443) 代码如下： import requests url = "https://api.bilibili.com/x/v2/dm/history?type=1&a
request.exceptions.ProxyError:HTTPSConnectionPool(host=‘wwww.baidu.com‘,port=443):Max retries exceed
weixin_42547786的博客
01-13 2174
代理链接不上 使用了代理IP之后还是拒绝访问是什么原因？很多时候，大家再访问网站的时候会受到限制，这是因为网站设置了同一个IP地址的访问次数，所以网站才会出现拒绝访问的情况，这个时候大家想到的都是只要用代理IP进行访问，访问就不会再受到限制。但是有时即使是使用了代理IP，但是依旧会出现拒绝访问的字样，为什么会出现这样的情况，原因有以下几点 第一，Interner设置问题 如果在换了几次代理IP之后，还是会出现拒绝访问的情况，那么说明代理IP地址是没有问题的，有问题的是本地电脑，一般都是Int.
Requests报错requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.baidu.com‘, port=443)
m0_61005893的博客
07-02 1002
Requests报错requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.baidu.com‘, port=443)
python报错这个requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
08-05
这个错误通常是由于请求返回的数据无法解析为 JSON 格式导致的。根据引用中的描述，可以看出这个错误是在调用`res.json()`方法时触发的。根据引用和的分析，问题可能出在请求头中的"accept-encoding"字段，它指示浏览器接受服务器返回的压缩数据。由于爬虫模拟请求没有解压缩的能力，导致返回的数据无法正确解析为 JSON 格式，从而触发了该错误。 解决这个问题的方法是删除或注释掉请求头中的"accept-encoding"字段。这样请求就不会携带压缩的信息，返回的数据将是未压缩的，可以正确解析为 JSON 格式。 所以，你可以尝试删除或注释掉请求头中的"accept-encoding"字段，然后再次发送请求进行测试。这样应该能够解决报错`requests.exceptions.JSONDecodeError: Expecting value: line1 column1 (char0)`的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极简网络科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值