scrapy的安装

一、windows下安装。
1.安装python，注意python的版本，以下安装的类库都是要和你的python版本一致。建议是python2.7
2.安装pip，下载 get-pip.py到本地并安装。
验证是否安装成功：[root@ cgls]# pip --version
3.安装pywin32，下载相应版本的pywin32到本地并安装。
4.安装pyOPENSSL，下载相应版本的pyOPENSSL到本地并安装。
5.安装lxml，下载相应版本的lxml到本地并安装。
如果缺少Microsoft Visual C++库，自行下载安装。
6.使用命令行安装scrapy，[root@ cgls]# pip install Scrapy 。
验证是否安装成功：cmd下直接输入Scrapy。
上诉的几个插件，一定要和自己的python的版本相一致，我用的是python2.7.5和相关插件。插件地址点此

二、centos7下安装scrapy
执行下面五个命令,进行scrapy和scrapy相关插件的安装。
命令一：[root@ cgls]# yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y
命令二：[root@ cgls]# yum install python-setuptools
命令三：[root@ cgls]# easy_install pip
命令四：[root@ cgls]# easy_install lxml
命令五：[root@ cgls]# pip install scrapy
Scrapy安装之后，检查scrapy版本
[root@ cgls]# scrapy (注：版本为Scrapy 1.3.0)

三、如果在centos7下安装scrapy一直失败
(如果报了下面这个错误,解决方法如下:

确定更新了yum, 如果系统中安装有audit这个包请先移除，它会影响到Scrapy的安装。
[root@ cgls]# yum remove audit
安装Scarpy 所需要的开发包
[root@ cgls]# yum install -y python-devel gcc libffi-devel openssl-devel libxslt-devel libxml2-devel
安装pip与setuptools
[root@ cgls]# yum install python-pip -y
[root@ cgls]# pip install setuptools
[root@ cgls]# pip install setuptools –upgrade
安装Scrapy
[root@ cgls]# pip install Scrapy

Scrapy安装之后，检查scrapy版本
[root@ cgls]# scrapy
(注：版本为Scrapy 1.3.0)