Python配置爬虫环境Scrapy

最近对Python爬虫比较感兴趣，于是乎安装了python并开始配置环境，由于没什么经验，结果遇到了很多问题，好在网上相关的文章并不少，最终找到一篇还不错的博客，按照它的步骤成功的完成了环境的配置。

所以今天打算整理一下写一篇博文分享给大家，希望对想学python爬虫的你有一个简单的环境配置帮助。

（推荐一个网址，里面有对Scrapy很详细的讲解：https://scrapy.org/）

我这里选择的是python2.7.12版本，推荐使用2.7.x系列，不推荐python3.x。好了，下面就开始进入主题了。

一、安装python2.7.x

在python官网下载相应版本进行安装，安装成功后将python的安装目录添加到系统的环境变量中。

然后在命令行中输入python并回车，如下图所示就表示安装成功了。

二、安装pywin32

pywin32是一款python的一款IDE，其代码风格可以类似win32 sdk，也可以类似MFC，如果你仍不放弃vc一样的代码风格，那么这就是一个不错的选择，当然我们还有其他很多如vim、sublime、pycharm的IDE可选择。pywin32的功能相对简单，可做的操作也就相对有限了，所以后者是一个不错的选择。

在https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/这里点击进去后选择对应的版本（注意要与安装的python版本对应），下载后也是双击运行，直接下一步一路完成。

三、安装twisted

在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到安装twisted、之前还需要先安装其他几个包。

1. 安装zope.interface， 从这里https://pypi.python.org/pypi/zope.interface#download下载（注意版本的对应）。

 

2. 安装pyopenssl， 从这里https://pypi.python.org/simple/pyopenssl/下载。

3. 安装twisted，从这里https://pypi.python.org/simple/twisted/下载。

四、安装lxml，在这里https://pypi.python.org/simple/lxml/下载，我是选择了3.4.3版本。

五、安装scrapy

这里我们选择通过pip来安装，首先我们还需要添加一个系统环境变量如。

然后打开命令行，cd到python安装目录下的Scripts下，然后输入pip install scrapy就可以进行安装了（以后安装其他包也可以这样操作）。

至此我们就完成了python爬虫环境的配置，接下来就可以写个爬虫小程序来玩玩了。

Tips：安装各种包时注意版本一定要对应，否则安装不了。当包安装完成后可以通过在命令行键入python进入python然后import 包的名字 来查看包是否成功安装。（如下图所示则表示成功安装）

附上我参考的博文链接：http://www.open-open.com/lib/view/open1383291459613.html