python3 urllib 爬虫处理https 请求ssl 证书验证

最新推荐文章于 2024-09-18 20:44:21 发布

yangxiaodong88

最新推荐文章于 2024-09-18 20:44:21 发布

阅读量1.6w

点赞数 6

分类专栏：爬虫文章标签： urllib

本文链接：https://blog.csdn.net/yangxiaodong88/article/details/80757383

版权

背景

如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/等…

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站

先看没有忽略SSL证书验证的错误的

import urllib.request
import ssl

# 处理HTTPS请求 SSL证书验证 忽略认证 比如12306 网站
url = "https://www.12306.cn/mormhweb/"
header = headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}

request = urllib.request.Request(url, headers=header)
res = urllib.request.urlopen(request)
# 会报错
# ssl.Cer