urllib.error.URLError:urlopen error unknown url type:https 解决办法

前言：

在用Python3做爬虫实验的时候报了这个错误：urllib.error.URLError: <urlopen error unknown url type: https>

原因是代码中的url是https

url = "https..."
req = urllib.request.Request(url, data, headers)
response = urllib.request.urlopen(req)

因为python内置的urllib模块不支持https协议，而且编译安装python之前没有编译安装类似于openssl这样的SSL库，所以导致python不支持SSL。

 

如果你的环境已经支持ssl，那么在代码中加入import ssl就可以运行了。如果不支持，添加import ssl后会提示 ModuleNotFoundError: No module named '_ssl'。为了解决这个问题，可以按照以下步骤完成操作：

1.先安装依赖包

yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++ openssl-devel

2.找到这个文件/usr/local/python/Modules/Setup.dist(每个人安装的路径可能不一样)

取消注释 以下几行：
209 SSL=/usr/local/ssl
210 _ssl _ssl.c \
211 -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
212 -L$(SSL)/lib -lssl -lcrypto

3.重新编译python

./configure --prefix=/usr/local/python
make
make install

4.检验(没有错误提示就可以用了)

上述方法能够解决所遇到的问题(亲测)，如果尝试后仍然不行，有可能是python在安装的时候依赖包出现了错误。有时候缺少包，python依然能够使用，但遇到特定情况时，问题就出现一大堆。我之前也是因为这个原因才浪费了一些时间。卸载当前使用的python后，按以下方式安装。

1.安装依赖包

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

2.下载压缩包

wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz

3.解压

mkdir /usr/local/python
mv Python-3.6.2.tar.xz /usr/local/python
tar -xvJf  Python-3.6.2.tar.xz
cd Python-3.6.2

4.编译

./configure --prefix=/usr/local/python
make
make install

5.创建软连接

ln -s /usr/local/python/bin/python3 /usr/bin/python3

确保python的安装没有问题后，再使用上述方法。