linux12.04上 scrapy安装

首先，如果电脑上面安装有pip， libxml的话。直接运行命令  

sudo pip install scrapy

搞定。

或者如下：

1、 安装pip，附带easy_install 安装。

        pip， easy_install 都是python的包管理工具 。非常好用。具体用法和doc自行访问官网。  

        pip官网   easy_install 资料

    pip安装。

sudo apt-get install python-pip python-dev build-essential

    pip更新到最新版

sudo pip install --upgrade pip

    easy_install 安装。

sudo apt-get install python-setuptools python-dev build-essential

    tips： 其实可以先安装easy_install 再安装pip。

 sudo easy_install pip

2、安装scrapy。

    首先还是输入：

sudo pip install scrapy

如果上述安装没有错误信息。

则测试scrapy。

直接在终端中输入scrapy,则应该出现如下信息：

test@ubuntu :~$ scrapy

Scrapy 0.24.4 - no active project

Usage:

  scrapy <command> [options] [args]

Available commands:

  fetch         Fetch a URL using the Scrapy downloader

  runspider     Run a self-contained spider (without creating a project)

  settings      Get settings values

  shell         Interactive scraping console

  startproject  Create new project

  version       Print Scrapy version

  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

如果有错误。如下处理：

错误中如果包含：

ImportError: No module named libxml

则

sudo pip install lxml
sudo apt-get install libxml2
sudo apt-get install libxml2-dev

ImportError: No module named w3lib..............

则

sudo pip install w3lib

ImportError: No module named cssselect

sudo pip install cssselect

ImportError: No module named OpenSSL

sudo pip install pyOpenSSL

UserWarning: You do not have the service_identity module installed. Please install it from <https://pypi.python.org/pypi/service_identity>. 

sudo pip install service_identity

至此，再次测试，scrapy已经安装好。没有错误信息。

转载于:https://my.oschina.net/u/2273259/blog/350491