旧版本scrapy升级新版本遇到的一些问题

原创 2015年11月18日 13:31:00

最近有新同学学抓数据,他们看的是中文文档,大概是0.25版本的,所以按照教程安装的时候,装的也是老版本的scrapy,不能用一些FilePipleline的东西,非常不方便.

他们装的时候是用apt-get安装的,升级的时候可以用apt-get remove,然后再按照英文文档里的方法安装就好了.

但是另一个同学不知道怎么安装的,scrapy直接就报错.报错信息ibutionNotFound: The 'cryptography>=0.7' distribution was not found and is required by pyOpenSSL, py一般就是这类软件不够新,所以呢,然后还有什么distutils.errors.DistutilsError: Setup script exited with error: command 'x86_64-linux-gnu-gcc' failed with exit status 1这种错误,其实我也不知道怎么回事.搜到了几个方法:

https://github.com/pyca/pyopenssl/issues/117

sudo apt-get install libffi-dev
sudo apt-get install libssl-dev
sudo apt-get install python-dev

http://stackoverflow.com/questions/22727782/repeatedly-failing-to-install-scrapy-and-lxml

sudo apt-get install libxslt1-dev libxslt1.1 libxml2-dev libxml2 libssl-dev
这样之后,然后升级一下setuptools,再安装新版本的scrapy就好了...

python easy_install 出现 pkg_resources.DistributionNotFound: 错误

重新安装python的distribution: 下载 distribution : https://pypi.python.org/pypi/distribute cd distribution-0...
  • hackerwin7
  • hackerwin7
  • 2015年03月10日 13:25
  • 25319

Scrapy升级到1.0版本

发现scrapy已经升级到1.0.1了,之前一直使用的是0.24.1 使用下面命令升级:>python -m pip install --upgrade scrapy变化待续……...
  • felcon
  • felcon
  • 2015年07月08日 11:24
  • 1552

Python Scrapy安装(python 版本手动更新)

Scrapy安装需要python2.7以上 若python版本为2.6,则需要更新 #下载python2.7 #wget http://python.org/ftp/python/2....
  • Julyraining
  • Julyraining
  • 2016年12月07日 16:20
  • 1085

ubuntu下安装scrapy最新版本

Scrapy依赖于Python、开发库和pip。Python最新的版本已经在Ubuntu上预装了。因此我们在安装Scrapy之前只需安装pip和python开发库就可以了。 pip是作为pyth...
  • Q1059081877Q
  • Q1059081877Q
  • 2015年12月05日 23:05
  • 1501

PIP和Scrapy安装|地狱难度安装版本!!!

目前系统版本 cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) python版本 Python 2.7.5pip安装h...
  • death_include
  • death_include
  • 2017年03月30日 02:14
  • 2304

旧版本scrapy升级新版本遇到的一些问题

最近有新同学学抓数据,他们看的是中文文档,大概是0.25版本的,所以按照教程安装的时候,装的也是老版本的scrapy,不能用一些FilePipleline的东西,非常不方便. 他们装的时候是用apt...
  • haipengdai
  • haipengdai
  • 2015年11月18日 13:31
  • 7624

升级scrapy-redis代码,使与更新版本scrapy兼容

scrapy-redis的安装要求是scrapy版本高于0.14,是
  • u012150179
  • u012150179
  • 2014年07月24日 16:59
  • 9067

nginx旧版本升级新版本

比如我们现在所用的是 nginx 是1.4 版本,过了一段时间后我们有新的稳定版 1.6 问世,我们想升级到新的版本怎么办?           1、把新版本解压、安装,然后将 sbin/nginx...
  • chenmoimg_
  • chenmoimg_
  • 2017年03月21日 13:40
  • 214

Unity有时候旧版本的编辑器打开新版本的项目会奔溃

有时候旧版本的编辑器打开新版本的项目会奔溃,有以下的解决方法 用旧版本打开了用新版本做的项目,Unity是向上不兼容的,你没有设置总是显示Project Wizard界面,所以打开Unity的时...
  • BenclVia
  • BenclVia
  • 2015年04月04日 21:33
  • 643

scrapy官方手册中文 高清完整.pdf版下载

  • 2017年01月23日 22:48
  • 33.48MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:旧版本scrapy升级新版本遇到的一些问题
举报原因:
原因补充:

(最多只允许输入30个字)