scrapy学习（1）安装

环境：ubuntu14.04 python2.7

资料：http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/install.html#scrapy

1，python2.7，pip，setuptools都是已经安装完成

2，lxml和OpenSSL

sudo apt-get install python-openssl
sudo apt-get install python-lxml

都显示已经是最新版本

3，scrapy

文档中说明：“debian官方源提供的 python-scrapy 是一个非常老的版本且不再获得Scrapy团队支持”

而资料提供的简单方法：

$ sudo pip install Scrapy

其下载过程老是中断，只能换个方法。

资料中提示：“使用官方提供的 Ubuntu Packages 。该包解决了全部依赖问题，并且与最新的bug修复保持持续更新。”

http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/ubuntu.html#topics-ubuntu

（1）把Scrapy签名的GPG密钥添加到APT的钥匙环中:
$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
（2）执行如下命令，创建 /etc/apt/sources.list.d/scrapy.list 文件:
$ echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
（3）更新包列表并安装 scrapy-0.25:
$ sudo apt-get update && sudo apt-get install scrapy-0.25

注释：如果你要升级Scrapy，请重复步骤3

因为scrapy-0.25版本低，所以我更新为更高版本的：

$ sudo apt-get install scrapy

4，运行出错：pkg_resources.DistributionNotFound: service-identity

经查，解决方法两个（就是安装service-identity），如下：

$ sudo pip install service_identity

$ sudo easy_install service_identity

我用的第二个

5，查看scrapy版本：

$ scrapy version -v
Scrapy    : 1.0.5.post4+g4b324a8
lxml      : 3.3.3.0
libxml2   : 2.9.1
Twisted   : 13.2.0
Python    : 2.7.6 (default, Jun 22 2015, 17:58:13) - [GCC 4.8.2]
pyOpenSSL : 0.13 (OpenSSL 1.0.1f 6 Jan 2014)
Platform  : Linux-3.13.0-24-generic-x86_64-with-Ubuntu-14.04-trusty