爬虫笔记10——使用requests请求报错requests.exceptions.SSLError: HTTPSConnectionPool(host=‘XXX‘, port=443)

于 2024-04-09 16:18:17 发布
阅读量346 收藏 1
点赞数 2
分类专栏： 爬虫笔记 文章标签： 爬虫 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yima_Dangxian/article/details/137556654
版权

可能的原因

通过查询资料是这么说的，这个错误产生的原因是SSL证书报错，http连接太多没有关闭导致http的连接数超过最大限制。由于http默认情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接，不然就会产生这样的错误提示。

解决方法

1、关闭 SSL 验证，设置verify=False
response = requests.get(fpath_or_url,headers=headers,stream=True, verify=False)
2、在访问中添加休眠时间
time.sleep(时间)

Yima_Dangxian
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python3控制路由器——使用requests重启极路由.py
09-21
通过本文给大家介绍Python3控制路由器——使用requests重启极路由.py的相关知识，代码写了相应的注释，以后再写成可以方便调用的模块，感兴趣的朋友一起学习吧
python中报错"json.decoder.JSONDecodeError: Expecting value:"的解决
09-19
主要介绍了python中报错"json.decoder.JSONDecodeError: Expecting value:"的解决方法 ,需要的朋友可以参考下
成功解决requests 报错raise SSLError(e, request=request)_requests.exceptions.SSLError_ HTTPSConnectionPool
AAIT11的博客
04-11 3216
所以只需要加加上参数：verify=证书路径，或verify=Flase。在使用requests调用https接口时，会遇到ssl证书报错。在requests请求时，加上参数Verify。通过 urllib3官方文档可知，只需要添加。因为有的网站需要验证书，比如：12306，但是，加上参数后，会有警告，提示安全问题。
requests.exceptions.SSLError: HTTPSConnectionPool(host=‘gw.wozaixiaoyuan.com‘, port=443): Max retrie
qq_62556797的博客
07-15 3830
4. 跳过证书验证（不推荐）：在某些情况下，你可以选择忽略证书验证错误，但这并不是一个安全的做法，因为它会使你的连接容易受到中间人攻击。1. 证书验证失败：服务器使用的SSL证书可能无效或不受信任。2. 客户端缺少根证书：你的客户端可能缺少必要的根证书，无法验证服务器的证书。1. 更新证书：确保你的操作系统和浏览器更新到最新版本，以获取最新的根证书列表。3. 代理配置问题：如果你在使用代理服务器进行网络请求，代理服务器的配置可能存在问题，导致SSL握手失败。不正确的日期和时间可能导致证书验证失败。
【解决方案】requests.exceptions.SSLError: HTTPSConnectionPool
热门推荐
肥宅Sean
05-17 7万+
前提 有些网页，一开始用脚本语言（python）去访问的时候会遇到这样问题。 一般这样的网站用浏览器去访问的时候，会弹出这样的警告“您的链接不是私密链接”。 内容大多出自于崔大神书籍。本菜结合书中内容做了自己的阐述。 简单解释 这里是由于这个网页的证书没有被官方CA机构信任，所以这里会出现证书验证的错误。 这样的url典型有https://www.12306.cn 如下使用代...
已解决（Python爬虫requests库报错 请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
努力让自己发光，对的人才能迎着光而来
07-06 2万+
成功解决（Python爬虫requests库报错 请求异常，SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool(host=‘httpbin.org’, port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLError(1, ‘[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1123
python爬虫遇到 raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool
CodeLorin的博客
11-19 4700
python爬虫遇到ssl证书报错 requests.exceptions.SSLError: HTTPSConnectionPool Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1123)’))) import urllib3 .
Python3爬虫使用requests抓取活动行（www.huodongxing.com/）进行数据分析
01-12
Python3使用requests抓取活动行（www.huodongxing.com/）进行数据分析，设计技术难度包括代理ip，html dom分析，分城市及分类处理。
学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理
12-22
Requests使用代理时出错，网上搜索了一下，原来...resp = requests.get(url,proxies=proxy) print(resp.text) 学习:https://edu.csdn.net/course/play/24756/280668?utm_source=blogtoedu  下面是报错代码 import req
requests.exceptions.SSLError：python使用requests报错解决办法
qq_41905413的博客
04-10 2654
错误具体内容： requests.exceptions.SSLError: HTTPSConnectionPool(host=‘api.github.com’, port=443): Max retries exceeded with url: /search/repositories?q=language:python&sort=stars (Caused by SSLError(SSL...
[684]requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
周小董
10-31 2040
报错信息 raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u'[SSL: CERT...
解决requests.exceptions.ProxyError: HTTPSConnectionPool(host=‘api.github.com‘, port=443): Max retries
最新发布
Zing的笔记本
10-17 5249
你的计算机或网络环境可能配置了代理服务器，但代理服务器设置可能不正确。你需要检查你的代理设置是否正确，并确保它们与你的网络环境相匹配。: 如果代理服务器无法访问或不可用，你可能会遇到这个问题。确保代理服务器正常运行，并且你可以连接到它。: 如果你的计算机或网络连接存在问题，可能会导致这个错误。确保你的网络连接正常，没有任何问题。控制面板->Internet选项->连接->局域网设置->代理服务器取消勾选。
requests.exceptions.SSLError: HTTPSConnectionPool(host=‘.*.‘, port=443): 开启代理时无法使用python的requests库
03-29 6901
python的requests，开启v2rayN后，无法使用python的requests库报错：有能力的也可以自己查看解决办法我这里总结一下解决办法如果你的请求不想走v2ray的设置：设置 -> 参数设置 -> 系统代理设置 -> 下拉选中：socks={ip}:{socks_port}然后再发送请求：可以看到请求成功发送了。
http请求报错SSLError: HTTPSConnectionPool:Max retries exceeded with url
零忆
09-06 1万+
http请求报错SSLError
requests.exceptions.SSLError (SSL module is not available) 解决方法
kevinoop 的博客
08-07 2391
Bug requests.exceptions.SSLError: HTTPSConnectionPool(host=’*****’, port=443): Max retries exceeded with url: / (Caused by SSLError(“Can’t connect to HTTPS URL because the SSL module is not available.”)) 解决方法一：环境变量配置问题 参考链接：https://blog.csdn.net/sinat_4069
解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host=‘XXXXXXX‘, port=443)问题
Ghjkku的博客
01-01 4万+
报错如下 Traceback (most recent call last): File "C:/Users/17653/Desktop/测试.py", line 23, in <module> response = requests.request("POST", url, headers=headers, data=payload) File "D:\Python36\lib\site-packages\requests\api.py", line 61, in req.
requests.exceptions.SSLError解决方案
qq_62204036的博客
09-21 2171
debug跟踪到了几处可能可以修改TLS握手特征的代码 路径如下：/usr/local/lib/python3.9/site-packages/urllib3/util/ssl_.py其中，的第一个参数表示这个适配器只在。中的加密算法，需要修改。上下文，并实现一个新的。
requests.exceptions.SSLError: HTTPSConnectionPool
成都_杨洋
03-04 3744
requests.exceptions.SSLError: HTTPSConnectionPool(host=‘auction.gorringes.co.uk’, port=443): Max retries exceeded with url: (Caused by SSLError(SSLError(“bad handshake: Error([(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)
requests.exceptions.SSLError: HTTPSConnectionPool(host='translate.google.com', port=443):
06-07
这个错误是因为 SSL 验证失败，可能原因如下： 1. 证书验证失败。可能是因为证书过期、证书不匹配、证书被撤销等原因导致验证失败。 2. 网络连接不安全。可能是因为网络连接被劫持、中间人攻击等原因导致验证失败。 解决方法如下： 1. 确认你的网络连接是安全的，可以尝试使用 VPN 等方式建立安全的连接。 2. 确认你的程序使用的证书是有效的，可以尝试更新证书。 3. 确认你的程序使用的是最新的 SSL/TLS 协议，可以尝试更新 SSL/TLS 库。 4. 如果你使用的是 Python 的 requests 库，可以尝试指定 `verify=False`，跳过证书验证，但这会降低安全性。 以下是使用 requests 库的示例代码： ```python import requests url = "https://translate.google.com/" try: response = requests.get(url, timeout=10, verify=True) response.raise_for_status() print(response.text) except requests.exceptions.HTTPError as e: print(f"HTTP error: {e}") except requests.exceptions.RequestException as e: print(f"Request error: {e}") ``` 如果你想跳过证书验证，可以这样写： ```python import requests url = "https://translate.google.com/" try: response = requests.get(url, timeout=10, verify=False) response.raise_for_status() print(response.text) except requests.exceptions.HTTPError as e: print(f"HTTP error: {e}") except requests.exceptions.RequestException as e: print(f"Request error: {e}") ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yima_Dangxian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值