python爬虫部署hadoop_Python爬虫进阶一之爬虫框架Scrapy安装配置

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。

Windows 平台：

我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。

1.安装Python

安装过程我就不多说啦，我的电脑中已经安装了 Python 2.7.7 版本啦，安装完之后记得配置环境变量，比如我的安装在D盘，D:\python2.7.7，就把以下两个路径添加到Path变量中

1

D:\python2.7.7;D:\python2.7.7\Scripts

配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功

2.安装pywin32

下载对应版本的pywin32，直接双击安装即可，安装完毕之后验证：