爬虫request时出现SSLerror问题

最新推荐文章于 2024-05-15 13:04:53 发布
最新推荐文章于 2024-05-15 13:04:53 发布
阅读量3.1k 收藏
点赞数 3
分类专栏： python 文章标签： 爬虫 python visual studio code anaconda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45909594/article/details/122621480
版权


记录一下，如图报错：HTTPSConnectionPool(host=’’, port=): Max retries exceeded with url: /wikitag/taglist?tagId=76602 (Caused by SSLError(“Can’t connect to HTTPS URL because the SSL module is not available.”))

网上方法试了很多都不可行，最后在大佬提示下使用cmd运行该文件爬取成功

我使用的是VSC编辑器，使用了anaconda，大概是anaconda的锅，貌似win10 anaconda python中SSL是无法正常使用的

马里奥利奥_
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装第三方插件ReadTimeoutError: HTTPSConnectionPool(host='f 的解决办法
lzn1210899799的博客
02-12 490
ReadTimeout 现象 Traceback (most recent call last): File "/home/xiaoduc/.pyenv/versions/3.5.0/lib/python3.5/site-packages/pip/_vendor/requests/packages/urllib3/response.py", line 228, in _error_catcher ...
python 爬虫SSL错误是怎么回事？
njmanong的博客
04-08 777
我们检查一下我们的请求是否正确，并且确保请求的 URL 返回的是 JSON 格式的数据。解决办法人家也说了，更新一下版本，提醒你一下，如果是使用Linux操作系统，看看484安装了正确版本的OpenSSL库。1.这个错误很可能是因为你正在尝试读取一个 JSON 格式的响应，但是实际返回的却是 HTML 格式的响应。2.你用的是标准库ssl模块，那可能确实和前面那位uu说的一样，可能是底层OpenSSL库的问题有关。这些确认后，问题还是存在，就检查SSL证书的有效性和正确性，看程序有没有正确配置和使用证书。
爬虫遇到 HTTPSConnectionPool(host=‘xxxxx‘, port=443) 解决思路
热门推荐
鲨鱼儿的博客
08-09 9万+
1、原因 SSL 证书报错 http连接太多没有关闭导致的。 经过一番查询，发现该错误是因为如下： http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。 1、ip被封 2、程序请求速度过快。 2、解决方式 （1）time.sleep() （2）关闭 SSL 验证 verify=False response = requests.get(fpath_or_url,headers=headers,st...
已解决requests.exceptions.SSLError: HTTPSConnectionPool certificate verify failed: unable to get local
weixin_45091564的博客
05-15 178
问题的原因：需要禁用ssl证书。
HTTPSConnectionPool(host=‘finance.yahoo.com‘, port=443解决方案
cwjcw81的博客
02-18 4234
使用pandas_datareader.data读取雅虎财经的数据时，偶尔会报错，问题为：HTTPSConnectionPool(host=‘finance.yahoo.com’, port=443，不过不用紧张，一般来说，这不是代码的问题（这个代码实在太简单了），是雅虎财经服务器的问题，去喝口水，吃点零食等个几分钟就好了。 ...
【报错】爬虫 HTTPSConnectionPool(host=‘xxx‘, port=443) 解决方案
微雨停了的博客
04-10 1万+
报错情况： 执行如下代码请求webscan.cc时报ssl错误： domain = "taobao.com" results = requests.get('https://www.webscan.cc/site_' + domain, headers=headers) HTTPSConnectionPool(host=‘www.webscan.cc’, port=443): Max retries exceeded with url: /site_taobao.com (Caused by SSLEr
关于爬虫时遭遇SSLError错误的解决方法
sixcl的博客
04-19 2409
可以使用verify参数控制是否验证证书，如果将此参数设置为False，那么就不会出现上述问题，当然同时会出现另外一个问题就是警告我们要给它指定证书，这个时候可以。我们在进行一些爬虫小项目的时候，如果遇到对一些网站进行request请求时，会遇到SSLError错误，具体来说如下报错信息。也可以通过捕获到日志的方式忽略警告。可以指定一个本地证书用作客户端证书。那么我们有三种解决方法。
使用网络爬虫request爬取全本小说网站
最新发布
06-29
异常处理：处理请求过程中可能出现的异常，如请求失败、数据解析错误等。 用户界面：可选，开发一个简单的用户界面，方便用户操作。 遵守规则：确保爬虫遵守目标网站的robots.txt文件规定，尊重版权和法律规定。 ...
python网络爬虫入门之request.Request
12-22
python网络爬虫入门之request.Request urllib.request.Request 作用 创建请求对象，重新构造User-Agent(使其更像是人类正常点击) 什么是User-Agent该如何设置 1.当我们向网站发送请求时所传递的信息见下图(也是反爬...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
总之，理解并掌握`urllib.request`和`BeautifulSoup`的使用是Python爬虫初学者的基础课。通过实践这样的实例，你可以更深入地了解网络请求的原理，学习如何解析和提取HTML中的有用信息，从而为后续更复杂的爬虫项目...
python爬虫实现POST request payload形式的请求
12-20
在处理某些网站时，我们可能遇到POST请求需要使用`request payload`格式的情况。与常见的`form data`不同，`request payload`是一种将数据以JSON或其他格式发送到服务器的方式。本文将详细介绍这两种数据格式的区别...
看完这个系列所有爬虫都easy！（一）爬虫介绍与request库使用
12-21
【爬虫介绍与request库使用】 爬虫，全称网络爬虫，是一种自动化程序，用于抓取互联网上的信息。在了解如何使用request库之前，让我们先理解一下爬虫的基本流程： 1. **确认需求**：明确你要抓取的数据类型，比如...
Requests请求时SSLError的解决方法。
Mike_Shine的博客
07-10 5485
爬虫中，requests请求可能会遇到SSL Error的问题，看了别人的博客，是说证书的问题。解决方法：requests.get(url, verify =  False ) 意思是不去认证。
解决python问题：HTTPSConnectionPool(host=‘finance.yahoo.com‘, port=443): Read timed out. (read timeout=30
小白摸索之路
02-02 5368
检查pip有没安装cryptography，pyOpenSSL，certifi要是没有先安装 pip install cryptography pip install pyOpenSSL pip install certifi 我安装完上述三个包后就解决问题了。
解决报错:HTTPSConnectionPool(host=‘***‘, port=443)
CSDNXXCQ的博客
07-22 6403
要增加参数 requests.packages.urllib3.disable_warnings() response = requests.get(url,verify=False) 或者 import urllib3.contrib.pyopenssl urllib3.contrib.pyopenssl.inject_into_urllib3() response = requests.get(url,verify=False)
python爬虫ssl错误_解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)问题...
weixin_39920403的博客
12-11 2018
爬虫时报错如下：requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443):Max retries exceeded with url: /login/ (Caused by SSLError(SSLError("bad handshake:Error([('SSL routines', 'tls_proces...
requests.exceptions.SSLError: HTTPSConnectionPool Max retries exceeded with url 报错解决方法
Michael是个半路程序员
06-24 3151
发现报错： 修改方法：把 的 不报错了
爬虫的requests报错ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1125)解决办法
withbyfan的博客
05-12 1万+
总结网上现有的爬虫的requests报错ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1125)解决办法
爬虫SSl异常
夜未至
09-15 1467
复杂的可能需要进行网络重置或者重新安装ssl证书（服务端）1.用python爬取外网数据，挂了VPN并开了全局模式。发生异常: ConnectError。2.浏览器的设置不对。
爬虫 request
09-21
通过使用request库，您可以编写爬虫程序来获取网页内容、下载文件、发送POST请求等。 具体来说，request库可以用于以下操作： - 发送GET请求并获取响应内容 - 发送POST请求并传递参数 - 模拟浏览器发送请求（设置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值