网络爬虫（蜘蛛）Scrapy,Python安装！

原文转自 http://blog.csdn.net/niying/article/details/27103081

费了一番力气，装了Scrapy，标记一下。另外在上面的文章里，补充一点。

Scrapy,Python安装，使用！

1、下载安装Python2.7.6，因为Scrapy还不支持3.x版本。Latest Python 2 Release - Python 2.7.6，安装时选择当前用户。

2、到http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe

3、将C:\python27\Scripts;C:\python27;添加到环境变量里。

4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量（C:\OpenSSL-Win32）

5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py，用Python运行ez_setup.py（双击也行），会自动安装好工具、

6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装，复制到Python/Scripts下，运行 easy_install zope.interface-4.1.1-py2.7-win32.egg。（如果后缀名不是egg,修改为egg）

补：---、到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266下载 Microsoft Visual C++ Compiler for Python 2.7.

7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。

8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py2.7.exe 安装

9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。（安装时选择当前用户）

10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6

11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六

补：---、到https://pypi.python.org/pypi/pyasn1下载 pyasn1-0.1.8-py2.7.egg.

12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl  安装同6

13、命令行下运行easy_install -U scrapy将会自动下载并安装完成。

注：以上安装以win32为例，如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时，还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下，不然运行scrapy时出错。

问题汇总：

1、如果没安装10-12步骤，会出现pyOpenSSL警告和未安装service_identity错误，这两个都人先安装编译器，VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量：VS90COMNTOOLS，变量值和VS100COMNTOOLS一样就可以。

2、如果出现“Unable to find vcvarsall.bat”，则是没有安装VC2008出现的。

====================================================

关于Python的正则表达式：

1. Python正则表达式的七个使用范例

2. Python正则表达式指南

3. Python正则表达式操作指南

====================================================

关于Python的爬虫实例

1. [Python]网络爬虫

====================================================

Python程序打包

1. Python for windows