python 爬虫忽略不信任证书

最新推荐文章于 2024-02-01 10:18:14 发布

小菜菜1223

最新推荐文章于 2024-02-01 10:18:14 发布

阅读量1k

点赞数

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/qq_40771567/article/details/101695399

版权

python 同时被 2 个专栏收录

88 篇文章 1 订阅

订阅专栏

爬虫

14 篇文章 0 订阅

订阅专栏

当爬虫遇到了像12306这种不信任证书的情况时，一般爬取会返回证书异常，因为12306的证书是自己颁发的而不是CA的。

解决：

from urllib.request import Request, urlopen
import ssl

request = Request('http://www.12306.cn/normhweb')

request.add_header(
    'User-agent',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36'
    )

context = ssl._create_unverified_context()

res = urlopen(request, context=context)

with res:
    pass