Ubuntu14.04中安装Scrapy爬虫框架

在Ubuntu14.04上安装Scrapy


1、首先安装pip


$ sudo apt-get install python-pip python-dev build-essential 
$ sudo pip install --upgrade pip 
$ sudo pip install --upgrade virtualenv


2、使用pip安装Scrapy


$ sudo pip --default-timeout=100 install scrapy


如果未添加timeout，则可能报错SSLError: The read operation timed out，而这通常是网络的原因。


3、测试安装是否成功


$ scrapy


如果能看到当前版本以及帮助信息则表示安装成功。