最近研究爬虫接触到了pyspider于是在mac中一顿操作结果发现并没有那么顺利。安装的时候提示说pycurl安装有问题,什么鬼?
安装pyspider:
pip install pyspider
报错:
大致内容:
Curl配置为使用SSL,但我们无法确定它正在使用哪个SSL后端。有关如何手动指定SSL后端的信息,请参阅PycURL文档。
解决办法:
# 查看安装openssl的配置信息
brew info openssl
画线部分是配置环境变量,需要运行:
export LDFLAGS=-L/usr/local/opt/openssl/lib
export CPPFLAGS=-I/usr/local/opt/openssl/include
export PYCURL_SSL_LIBRARY=openssl
搞定啦:
pip install pyspider
后来发现,如果没有设置环境变量,pip安装scrapy也会出现这样的问题,使用相同方法解决。