最近在闲暇时刻看一看Python爬虫,学习到浏览器模拟,对csdn的网页进行抓取,发现报错了。
在网上找了之后发现,原来是 https 引起的。“当使用urllib.urlopen打开一个 https 链接时,会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出此异常。(此处引用,目前还不懂)”
解决办法:
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
最近在闲暇时刻看一看Python爬虫,学习到浏览器模拟,对csdn的网页进行抓取,发现报错了。
在网上找了之后发现,原来是 https 引起的。“当使用urllib.urlopen打开一个 https 链接时,会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出此异常。(此处引用,目前还不懂)”
解决办法:
import ssl
ssl._create_default_https_context = ssl._create_unverified_context