旧版本scrapy升级新版本遇到的一些问题

最近有新同学学抓数据,他们看的是中文文档,大概是0.25版本的,所以按照教程安装的时候,装的也是老版本的scrapy,不能用一些FilePipleline的东西,非常不方便.

他们装的时候是用apt-get安装的,升级的时候可以用apt-get remove,然后再按照英文文档里的方法安装就好了.

但是另一个同学不知道怎么安装的,scrapy直接就报错.报错信息ibutionNotFound: The 'cryptography>=0.7' distribution was not found and is required by pyOpenSSL, py一般就是这类软件不够新,所以呢,然后还有什么distutils.errors.DistutilsError: Setup script exited with error: command 'x86_64-linux-gnu-gcc' failed with exit status 1这种错误,其实我也不知道怎么回事.搜到了几个方法:

https://github.com/pyca/pyopenssl/issues/117

sudo apt-get install libffi-dev
sudo apt-get install libssl-dev
sudo apt-get install python-dev

http://stackoverflow.com/questions/22727782/repeatedly-failing-to-install-scrapy-and-lxml

sudo apt-get install libxslt1-dev libxslt1.1 libxml2-dev libxml2 libssl-dev
这样之后,然后升级一下setuptools,再安装新版本的scrapy就好了...

阅读更多
个人分类: scrapy
上一篇ubuntu 14.04 安装gensim
下一篇Django项目用mod_wsgi部署到Apache2, Ubuntu 14.04
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭