[Python]Python爬虫之Scrapy框架安装配置

最近在做用户行为分析和预测的一个task，但是mgr不给数据，让自己去爬......=。=

发现要爬的网站一般的urllib/urllib2还都爬不成，需要用更高级的爬虫框架Scrapy。

从网上找了一些资料，整理如下：

1.安装Python

安装过程我就不多说啦，我的电脑中已经安装了 Python 2.7.7 版本啦，安装完之后记得配置环境变量，比如我的安装在D盘，D:\python2.7.7，就把以下两个路径添加到Path变量中(PS：现在的python安装只要在某一步中将add to path勾选上就可以直接自动添加环境变量了)

1	D : \ python2 . 7.7 ; D : \ python2 . 7.7 \ Scripts

配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功

2.安装pywin32

在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/

下载对应版本的pywin32，直接双击安装即可，安装完毕之后验证：

在python命令行下输入

import win32com

如果没有提示错误，则证明安装成功

3.安装pip

pip是用来安装其他必要包的工具，首先下载 get-pip.py

下载好之后，选中该文件所在路径，执行下面的命令

1	python get - pip . py

执行命令后便会安装好pip，并且同时，它帮你安装了setuptools

注意：我的pip安装完之后发现他并没有帮我安装setuptools，所以到官网下载setuptools（http://pypi.python.org/pypi/setuptools）

安装完了之后在命令行中执行

1	pip -- version

如果提示如下，说明就安装成功了，如果提示不是内部或外部命令，那么就检查一下环境变量有没有配置好吧，有两个路径。

4.安装pyOPENSSL

在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。

安装地址：https://launchpad.net/pyopenssl

5.安装 lxml

这一步装的时候就很坑爹，用pip和easy_install装总会出There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590) - skipping的报错。

最后总结一下自己装这个lxml的方法：

先把virtualenv装了：easy_install virtualenv

然后找到从http://lxml.de/installation.html上下的lxml安装包的路径

最后easy_install lxml-2.3-py2.7-win32.egg

至于为什么一定要先装这个virtualenv，我也还没搞清楚。

6.安装Scrapy

其实在这之前还需要安装Zope.Interface（http://pypi.python.org/pypi/zope.interface/），Twisted（http://twistedmatrix.com/trac/wiki/Downloads）和w3lib（http://pypi.python.org/pypi/w3lib）。

安装成功后import这些包验证成功安装。

其中安装twisted的方法：下载 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi和ZOPE包https://pypi.python.org/pypi/zope.interface#downloads

最后就是激动人心的时刻啦，上面的铺垫做好了，我们终于可以享受到胜利的果实啦！

执行如下命令

pip install Scrapy

1

pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！

7.验证安装

输入 Scrapy

如果提示如下命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。

如果大家遇到什么问题欢迎私信留言，一起解决~