Scrapy 安装

零、安装Python2.7

python下载地址：

https://www.python.org/

 

对于windows用户：

https://www.python.org/downloads/windows/

 

安装很简单，就不多说了，我安装的是Python 2.7.7，写这篇文档的时候看了下，已经有Python 2.7.8

安装完成后将Python的安装路径加入到环境变量Path中

在cmd中输入python，如果出现如下画面，说明安装python成功了，可以写些python小例子了

一、安装Twisted

1.下载Twisted，Zope.Interface， PyOpenSSL

https://twistedmatrix.com/trac/wiki/Downloads

下载

下载

① Twisted 14.0.0 for Python 2.7(如果系统为64为，下载64bits)

        ② Zope.Interface

       选择第一个 zope.interface 4.1.1

下载倒数第二个zope.interface-4.1.1.win32-py2.7.exe

③ PyOpenSSL

发现打开连接只有源代码包可以下载

所以使用下面连接

       https://launchpad.net/pyopenssl

2.安装Twisted

双击Twisted-14.0.0.win32-py2.7.exe

无脑下一步即可，最后点击完成

3.安装Zope.Interface

双击zope.interface-4.1.1.win32-py2.7.exe

无脑下一步即可，最后点击完成

4.安装PyOpenSSL

双击pyOpenSSL-0.11.winxp32-py2.7.exe

无脑下一步即可，最后点击完成

5.测试

输入from twisted.internet import reactor 如没有错误表示安装成功。

二、安装lxml

1.下载lxml

https://pypi.python.org/pypi/lxml/

我选择了第一个lxml 3.3.5

下载lxml-3.3.5.win32-py2.7.exe (md5)

2.安装lxml

双击lxml-3.3.5.win32-py2.7.exe

无脑下一步即可，最后点击完成

三、安装easy_install

1.下载easy_install

https://pypi.python.org/pypi/setuptools

在如下图这个位置，下载ez_setup.py  （虽然我是win8系统...）

2.安装easy_install

将下载好的ez_setup.py放到C盘

在cmd中输入 python C:\ez_setup.py

安装完毕

2.将D:\Python27\Scripts加入环境变量Path中

3.测试

在cmd中输入easy_install,如下图说明安装成功

四、安装Scrapy

1.下载Scrapy

http://scrapy.org/download/

点击 Scrapy on PyPI 

下载第二个Scrapy-0.24.1.tar.gz (md5)

2.安装Scrapy

 

将此源代码包解压到D盘，路径是D:\Scrapy-0.24.1

然后在cmd输入

方法一 python D:\Scrapy-0.24.1\setup.py install

方法二 运行cmd，cd到该解压目录下D:\Scrapy-0.24.1\，在cmd中输入

easy_install Scrapy

说明，我使用的是方法一，可能也是后面出现了三个错误的原因（缺少安装依赖包），但最终解决了，方法二我没试过，或许避免了后面的三个错误页未可知。求稳采用方法一。

回车后会刷屏一会儿，直至停止

3.测试Scrapy

在cmd中输入 scrapy，如果出现如下图画，那么恭喜你安装成功了！

如果未出现，出现类似 No module named 的字样，请往下看

五、输入scrapy后的可能的错误

错误1：No module named six

解决

接下来输入 easy_install six

错误2：No module named w3lib.http

解决

接下来输入 easy_install w3lib

错误3：No module named cssselect

解决

接下来输入 easy_install cssselect

 

 

错误4：No module named XXXX

那么解决方法就是 easy_install XXXX

说明，我碰到的就是上面三个错误，至此我安装成功了

在cmd中输入scrapy 后出现下面图画