python爬虫ssl错误_Python的ssl错误

在用python写爬虫抓取一些https站点的时候遇到过这样的错误：requests.exceptions.SSLError: [Errno 1] _ssl.c:503: error:14090086:SSL

routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed

解决方案一

requests抛出了一个SSLError，解决这个问题最简单的方式是关闭校验。response = requests.get(url, verify=False)

解决方案二

当然关闭校验会引发中间人攻击这样的安全问题，但是对于爬虫系统来说还好。不过细究一下原因，可以归结到Python 2.x 不支持 SNI。

pyOpenSSL对SNI问题加了猴子补丁，有对这个问题的解决方案。

首先安装依赖。

pyOpenSSL == 0.13

ndg-httpsclient == 0.3.2

pyasn1 == 0.1.6pip install pyopenssl ndg-httpsclient pyasn1

然后在使用urllib3之前，即requests之前写以下代码。try:

import urllib3.contrib.pyopenssl

urllib3.contrib.pyopenssl.inject_into_urllib3()

except ImportError:

pass

另外requests对于SSL问题有一些额外支持来解决这个问题的。安装requests的时候加参数即可安装这些额外的包依赖了。pip install requests[security]