在centos7和centos6下安装scrapy

最新推荐文章于 2024-08-22 10:55:15 发布

原创最新推荐文章于 2024-08-22 10:55:15 发布 · 7.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#centos #scrapy #python

scrapy 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了在CentOS 6和CentOS 7环境下，如何安装Python及其相关依赖包，成功部署Scrapy爬虫框架的全过程。包括Python版本的升级、环境配置、依赖安装等关键步骤。

centos7

默认python 2.7，支持twisted

首先准备环境

yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y

安装easy_install

yum install python-setuptools

安装pip

easy_install pip

安装 lxml

easy_install lxml

如果以上都顺利,就开始安装scrapy吧

pip install scrapy

centos6

在centos6下，默认是python2.6,所以要先升级python,这里用python2.7.11。

准备环境

yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel wget sqlite-devel -y

安装python2.7.11

#下载python.2.7.11
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz

#解压并安装
tar zxvf Python-2.7.11.tgz
cd Python-2.7.11
./configure --prefix=/opt/python27 --enable-load --enable-sqlite-extensions --enable-shared
make
make install

#替换成2.7.11版本
mv /usr/bin/python /usr/bin/python2.6.6
ln -s /opt/python27/bin/python2.7 /usr/bin/python

#更新下yum的配置
sed -i 's$#!/usr/bin/python$#!/usr/bin/python2.6$g' /usr/bin/yum

#默认可能找不到libpython2.7.so.1.0，链下
ln -s /opt/python27/lib/libpython2.7.so.1.0 /usr/lib64/

安装easy_install

wget https://bootstrap.pypa.io/ez_setup.py
python ez_setup.py
ln -s /opt/python27/bin/easy_install /usr/bin/easy_install

安装pip

easy_install pip
ln -s /opt/python27/bin/pip /usr/bin/pip

安装 lxml

easy_install lxml

安装Twisted

easy_install twisted

如果失败，手动下载安装

wget https://pypi.python.org/packages/2b/1f/9f1769bfd9d25547dc7f98e5273c638d379f1b2ef368a8b270de675fe714/Twisted-16.1.1.tar.bz2#md5=266a085f5ce3fbc060818bd00bd6a888
tar jxvf Twisted-16.1.1.tar.bz2
cd Twisted-16.1.1
python setup.py install

如果以上都顺利,就开始安装scrapy吧

pip install scrapy
ln -s /opt/python27/bin/scrapy /usr/bin/

整个过程如果遇到问题,就google下.
^_^