安装Python管理包pip，并利用pip安装 scrapy框架

2019独角兽企业重金招聘Python工程师标准>>>

安装Python管理包pip，并利用pip安装 scrapy框架

#将yum更新，将基础依赖安装好，免的中途报错
yum -y update
yum groupinstall -y development
yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel

#查看Python版本 一般默认为2.6.6的，而scarpy必须要2.7版本才可以运行
#若为2.6.*版本，则更新2.7版本
python -v 
cp /opt/app
wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
tar -xvf Python-2.7.6.tar.xz
cd Python-2.7.6
./configure     #编译
make && make altinstall #安装

#将系统默认Python换成2.7.6版本
mv /usr/bin/python /usr/bin/python2.6.6
ln -s /usr/local/bin/python2.7 /usr/bin/python
vim /usr/bin/yum(#!/usr/bin/python 改为 #!/usr/bin/python2.6.6,yum 是基于Python2.6.6版本，否则yum不能使用)

#下载安装pip
wget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gz
tar -zvxf 1.5.5.tar.gz    #解压文件
cd pip-1.5.5/
python setup.py install  #安装
#报错：No module named setuptools，没有setuptools的模块，说明python缺少这个setuptools模块
#那我们只要安装这个模块即可解决此问题，
cd /opt/app
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz
tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build  #编译
python setup.py install #安装
cd ../pip-1.5.5/
python setup.py install #安装
pip -V #查看版本信息

#利用pip安装scrapy
pip install scarpy
#若出现错误：CompressionError: bz2 module is not available，scripy框架依赖Twisted，而Twisted 依赖python bz2模块，要安装libxslt-devel和libffi-devel，
#直接yum安装,之后重新编译安装Python，执行yum -y install libxslt-devel libffi-devel  放到Python2.7版本编译安装前面，否则后面还有重新编译安装Python，血淋淋的教训

#若出现Successfully installed scrapy pyOpenSSL six queuelib service-identity parsel lxml w3lib PyDispatcher cssselect cryptography pyasn1 pyasn1-modules attrs idna setuptools enum34 ipaddress cffi pycparserCleaning up...表示安装成功

#查看scrapy是否成功,若出现版本信息则安装成功
scarpy -h

转载于:https://my.oschina.net/731135090/blog/683311