win7环境下安装爬虫框架 scrapy

环境

• Windows7 64位
• Python2.7.6 64位

Python的安装：

• 打开http://www.python.org/getit/releases/2.7.6/页面，下载Python-2.7.6.amd64.msi 进行安装，安装完成后，需要配置环境变量，环境变量的配置可以参考该文章
• 测试python是否安装成功，如果python成功安装并且配置好环境变量，那么在cmd中输入python，就能得到python版本的详细信息（如32位或64位）

easy_install的安装

保存ez_setup.py至本地，如D盘(如果失效了，可以参考下http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html)

在cmd中运行：

[html] view plain copy

1. d:\>python ez_setup.py  

进行SetupTools的安装
在运行的时候会发生一个错误，该错误为"ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128)",大意为ascii编码不能解析byte 0xe8。

解决方法：找到并打开python根目录/Lib/mimetypes.py文件，在import urllib后，添加代码:

1. reload(sys)  
2. sys.setdefaultencoding('gbk') 
   

 把默认编码方式改为gbk（网上有写用utf8的，在这个脚本中是无效的，需要改成gbk格式）。重新执行python ez_setup.py，如果出现刷屏的安装信息，则说明安装成功了。此时，在python目录下多了一个Script文件夹，easy_install就在里面

Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载：http://pan.baidu.com/s/1mgBOGYG

 注意，下载依赖项之前一定要确认自己Python的位数。有可能你是64位的系统但装的却是32位的Python。所以先确认，不然安装依赖项的时候会出现诸多错误。

确认好自己的Python位数   下面就开始按照自己的位数和系统去安装依赖。以下是win7 64位系统的范例。

• 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
• 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
• 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
• 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
• 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下，执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg

验证scrapy依赖项是否安装成功的方法：

cmd执行$ python进入python控制台

• 执行import lxml，如果没报错，则说明lxml安装成功
• 执行import twisted，如果没报错，则说明twisted安装成功
• 执行import OpenSSL，如果没报错，则说明OpenSSL安装成功
• 执行import zope.interface，如果没报错，则说明zope.interface安装成功
• 如果安装成功，那么在cmd中执行& python，然后执行import lxml，如果没有报错，则说明lxml安装成功。

安装Scrapy

• 方法1： 控制台输入：easy_install scrapy
• 方法2：解压缩Scrapy-0.22.2.tar.gz，在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法：可以在cmd控制台执行 $ scrapy ，如果没有报错，说明安装成功。

原文  http://blog.csdn.net/php_fly/article/details/19364913