Ubuntu 14 安装scrapy

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Ubuntu14下安装步骤：

环境准备

（1）Ubuntu 14.04

（2）Python 2.7.6 （系统自带）

 （3）OpenSSL

检查是否安装

如未安装

通过命令 sudo apt-get install openssl 安装

（4） lxml







如未安装

通过命令 sudo apt-get install xml2 安装

（5）安装 libevent-dev libevent是一个时间出发的高性能的网络库，很多框架的底层都使用了libevent

sudo apt-get install libevent-dev

（6） 安装 scrapy

sudo pip install scrapy





安装成功，可通过命令查看scrapy版本

安装遇到问题

1.sudo pip install scrapy 出错

解决办法

添加文件  ~/.pip/pip.conf 并添加内容 

[global]  
index-url=http://pypi.douban.com/simple/

操作命令

cd ~/.pip

 sudo vim pip.conf

打开vim编辑器，键入 i

输入文件内容，然后按Esc，再按Shift+:，输入wq。

再次执行sudo pip install scrapy 操作成功。

2.执行scrapy version 出错

原因 TWIST 版本问题，需安装一个低版本的

执行  sudo pip install Twisted==10.0.0