CentOS 6.4 安装搭建 Scrapy 0.22 环境

一、安装Python2.7.6
更新CentOS lib库文件
yum -y update
安装开发工具包


yum groupinstall -y development
安装扩展包


yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel
下载Python2.7.6


wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
解压Python2.7.6


tar -xvf Python-2.7.6.tar.xz
进入Python2.7.6目录
 cd Python-2.7.6
编译安装Python2.7.6


./configure
make && make altinstall
二、解决Yum不支持Python2.7的问题
将老的Python程序进行备份
mv /usr/bin/python /usr/bin/python2.6.6
建立新的Python链接
ln -s /usr/local/bin/python2.7 /usr/bin/python
修改/usr/bin/yum文件
vi /usr/bin/yum
将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6




三、安装setuptools 和 pip
下载setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
解压setuptools
tar -xvf setuptools-1.4.2.tar.gz
进入setuptools目录
cd setuptools-1.4.2
通过已安装的Python2.7.6安装setuptools


python setup.py install
安装 pip
easy_install pip
curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -
 


四、安装libxslt-devel支持lxml
yum install libxslt-devel
五、安装Scrapy

pip install scrapy

如果网速很慢的话可以直接下载scrapy的tar包进行安装，安装过程如下：

[root@localhost scrapy]# tar -xvzf scrapy-scrapy-0.22.2-11-ga96a21e.tar.gz
[root@localhost scrapy]# mv scrapy-scrapy-a96a21e scrapy-0.22.2
[root@localhost scrapy]# cd scrapy-0.22.2
[root@localhost Scrapy-0.14.0.2841]# python setup.py install  

此处可能会报一下错误：

No package 'libffi' found - fatal error: ffi.h: No such file or directory

由于libffi没有安装，使用yum安装

yum install libffi libffi-devel

安装完成后再执行：

[root@localhost Scrapy-0.14.0.2841]# python setup.py install  安装通过，至此Scrapy安装完成