python中使用request爬取https遭遇ssl报错

import requests
if __name__=='__main__':
    target = 'https://www.biqudao.com/bqge89286/5388054.html'
    req=requests.get(url=target)
    print(req.text)

 这是我学爬虫写的第一段代码,教程的实例中用的是一个http网站,由于网站过期了.我找了一个类似的网站。这时候就遇到了问题,由于我用的网站是一个https的,出现了

SSLError: HTTPSConnectionPool(host='www.biqudao.com', port=443): Max retries exceeded with url: /bqge89286/5388054.html (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])")))

这个报错,一开始我本着面向百度编程的原则,百度了一堆,但是都不适用,最后去看了requests的官方中文文档

http://cn.python-requests.org/zh_CN/latest/index.html

在里面找到了原因和解决方案,原因是没有绕过ssl验证。将代码修改如下

import requests
if __name__=='__main__':
    target = 'https://www.biqudao.com/bqge89286/5388054.html'
    req=requests.get(url=target,verify=False)
    print(req.text)

手动在url后面设置成不验证,问题解决

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
使用Pythonrequests爬取百度图片,您可以按照以下步骤进行操作: 1. 安装requests:如果您还没有安装requests,可以使用以下命令进行安装: ``` pip install requests ``` 2. 编写爬取代码:下面是一个简单的例子,演示如何使用requests爬取百度图片的搜索结果: ```python import requests def download_images(keyword, num_images): # 构建百度图片搜索的URL search_url = f'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&word={keyword}&pn=0&rn={num_images}' # 发送GET请求 response = requests.get(search_url) # 处理响应结果 if response.status_code == 200: # 获取图片URL image_urls = [data['middleURL'] for data in response.json().get('data', []) if 'middleURL' in data] # 下载图片 for i, url in enumerate(image_urls): try: response = requests.get(url) with open(f'image{i}.jpg', 'wb') as f: f.write(response.content) print(f'Successfully downloaded image{i}.jpg') except: print(f'Failed to download image{i}.jpg') else: print('请求失败') # 要搜索的关键词和要下载的图片数量 keyword = 'cat' num_images = 10 # 执行爬取 download_images(keyword, num_images) ``` 在上述代码,我们构建了一个特定的URL,其包含了搜索关键词和要下载的图片数量。然后,我们发送GET请求来获取搜索结果,并解析响应结果的图片URL。最后,我们使用requests下载图片并保存到本地。 请注意,这只是一个简单的示例,实际应用可能需要更多的处理和错误处理。另外,爬取网站的图片可能需要遵守该网站的使用条款和法律法规。请确保遵守相关规定并尊重他人的权益。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值