Scrapy在win7 32位的安装及依赖包

博客转自：http://www.cnblogs.com/liyiran/p/4454891.html

Scrapy，一个网络爬虫的框架，首先第一步肯定是安装。

参考网上的文章。

安装过程中需要用到pip工具，请自行安装。

1.安装python

这个是必须的，既然都用到scrapy了，肯定已经安装了python,这个略过。

2.安装pywin32

下载地址：http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/

根据系统的不同，选择32位或者64位的。然后直接运行下载的exe就行

3.Visual C++ 2008 Redistributables和Win32OpenSSL_Light-1_0_2a的安装

下载地址：http://slproweb.com/products/Win32OpenSSL.html

下载下来exe文件，直接执行安装就可以了。把OpenSSL的bin目录添加到环境变量（C:\OpenSSL-Win32）

4.1.安装twisted依赖zope.interface

下载地址：https://pypi.python.org/pypi/zope.interface#download

下载下来是个egg文件，直接安装就可以了。

4.2.安装twisted依赖pyopenssl

下载地址：https://www.egenix.com/cryptodownload/?python=2.7+installer&file=egenix-pyopenssl-0.13.8.win32-py2.7.msi

下载下来是个egg文件，直接安装就可以了。

4.3.安装twisted依赖安装lxml

下载地址：https://pypi.python.org/pypi/lxml/

直接运行下载的exe就行

5.安装w3lib

下载地址：https://pypi.python.org/pypi/w3lib#downloads

下载下来安装包，使用python setup.py install命令进行安装

6.cssselect

直接使用pip安装就可以了

pip install cssselect

7.安装twisted

下载地址：http://twistedmatrix.com/trac/wiki/Downloads

直接运行下载的exe就行

8.安装service_identity

下载地址：https://pypi.python.org/pypi/service_identity#downloads

下载下来安装包，使用python setup.py install命令进行安装

9.安装cryptography

下载地址：https://pypi.python.org/pypi/cryptography

直接使用命令安装下载下拉的whl文件

10.安装cffi

下载地址：https://pypi.python.org/pypi/cffi

直接使用命令安装下载下拉的whl文件

11.scrapy

直接使用pip安装就可以了

pip install scrapy

最后大功告成！

注意几点：

1、以上文章中提到的网址，如果找不到对应的安装包，可以去网站http://www.lfd.uci.edu/~gohlke/pythonlibs/里找一下

2、有些安装包直接双击就可以安装（如.exe、.msi），如果双击不能直接安装（如.whl），则用pip install 来安装