CentOS在python2环境已有scrapy的情况下，安装python3环境的scrapy

1.先备份python2环境下的scrapy

cp /usr/local/bin/scrapy /usr/local/bin/scrapy2

 

2.安装依赖环境

• Python 2.7

  sudo yum install python-dev

   

• Python 3.4

  sudo yum install python34-devel

   

---

必须先安装 上述环境，否则会报错：

src/twisted/test/raiser.c:4:20: fatal error: Python.h: No such file or direc

command 'gcc' failed with exit status 1

 

 

3.尝试安装scrapy

pip3 install scrapy

 

如果出现Twisted安装失败，执行以下命令手动安装：

wget https://download.lfd.uci.edu/pythonlibs/r5uhg2lo/Twisted-18.9.0-cp36-cp36m-win_amd64.whl

可能会报404错误，如果下载失败，则从上述网址手动下载，再通过ftp传输到服务器上

 

mv Twisted-18.9.0-cp36-cp36m-win_amd64.whl Twisted-18.9.0-py36-none-any.whl

这里需要重命名一下，否则linux系统可能提示版本错误

 

pip3 install Twisted-18.9.0-py36-none-any.whl

使用pip安装本地Twisted，安装完成后再次尝试安装scrapy

 

4.如果存在python2版本的scrapy则需要重命名一下，避免冲突

mv /usr/bin/scrapy /usr/bin/scrapy3

 

5.安装成功后查看版本

scrapy -version

scrapy3 -version

 

 

某些情况可能需要（尝试未成功）：

wget https://twistedmatrix.com/Releases/Twisted/18.4/Twisted-18.4.0.tar.bz2

tar -jxvf Twisted-18.4.0.tar.bz2

cd Twisted-18.4.0

python3 setup.py install