前言:
在用Python3做爬虫实验的时候报了这个错误:urllib.error.URLError: <urlopen error unknown url type: https>
原因是代码中的url是https
url = "https..."
req = urllib.request.Request(url, data, headers)
response = urllib.request.urlopen(req)
因为python内置的urllib模块不支持https协议,而且编译安装python之前没有编译安装类似于openssl这样的SSL库,所以导致python不支持SSL。
如果你的环境已经支持ssl,那么在代码中加入import ssl就可以运行了。如果不支持,添加import ssl后会提示 ModuleNotFoundError: No module named '_ssl'。为了解决这个问题,可以按照以下步骤完成操作:
1.先安装依赖包
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++ openssl-devel
2.找到这个文件/usr/local/python/Modules/Setup.dist(每个人安装的路径可能不一样)
取消注释 以下几行:
209 SSL=/usr/local/ssl
210 _ssl _ssl.c \
211 -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
212 -L$(SSL)/lib -lssl -lcrypto
3.重新编译python
./configure --prefix=/usr/local/python
make
make install
4.检验(没有错误提示就可以用了)
上述方法能够解决所遇到的问题(亲测),如果尝试后仍然不行,有可能是python在安装的时候依赖包出现了错误。有时候缺少包,python依然能够使用,但遇到特定情况时,问题就出现一大堆。我之前也是因为这个原因才浪费了一些时间。卸载当前使用的python后,按以下方式安装。
1.安装依赖包
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
2.下载压缩包
wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz
3.解压
mkdir /usr/local/python
mv Python-3.6.2.tar.xz /usr/local/python
tar -xvJf Python-3.6.2.tar.xz
cd Python-3.6.2
4.编译
./configure --prefix=/usr/local/python
make
make install
5.创建软连接
ln -s /usr/local/python/bin/python3 /usr/bin/python3
确保python的安装没有问题后,再使用上述方法。