关于爬虫时遭遇SSLError错误的解决方法

在Python爬虫中遇到SSLError,通常是由于SSL证书验证失败导致。可以通过设置requests.get()的verify参数为False来忽略证书验证,但会产生警告。可使用urllib3.disable_warnings()或logging.captureWarnings()处理警告。另一种方法是提供本地证书进行客户端认证。
摘要由CSDN通过智能技术生成

我们在进行一些爬虫小项目的时候,如果遇到对一些网站进行request请求时,会遇到SSLError错误,具体来说如下报错信息
requests.exceptions.SSLError: HTTPSConnectionPool(host='ssr1.scrape.center', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERT
那么我们有三种解决方法
方法一:

response = requests.get('你要进行爬取的网站',verify=False)

可以使用verify参数控制是否验证证书,如果将此参数设置为False,那么就不会出现上述问题,当然同时会出现另外一个问题就是警告我们要给它指定证书,这个时候可以

from requests.packages import urllib3
urllib3.disable_warnings()

也可以通过捕获到日志的方式忽略警告

import logging
logging.captureWarnings()

方法二:
可以指定一个本地证书用作客户端证书

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值