windows下搭建爬虫框架scrapy

今天开始一个新的爬虫框架scrapy，我们先看一下windows下搭建的

前言：搭建scrapy是一路的坑，费时费力，下载时一定要选对版本，说多了都是血泪，玩python的小伙伴加油吧！

本文主要讲解在windows上搭建scrapy的步骤，有兴趣学习的话，可以先登录官网http://scrapy.org/基本浏览一下，然后可以按照一面的步骤来完成环境的搭建。

​第一步：当然是安装python了，本人安装的是2.7.11 版本（一定要是2.7版本）；可以到python的官网https://www.python.org/下载然后双击运行，一路“下一步”即可完成安装。安装好后，将python的安装目录添加到系统变量中，这样才能够在控制台中输入python进入，如下图所示则说明安装python成功了

填写图片摘要（选填）

第二步：按照官网的提示，我们先安装pywin32，在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本（注意要与安装的python版本对应），下载后也是双击运行，直接下一步一路完成。

第三步：安装twisted，在其官网的下载页面http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

​1. 安装zope.interface， 从这里https://pypi.python.org/pypi/zope.interface#download下载.我选择了4.1.3版本，点击进去后，点击download按钮即可，下载完后也是双击运行，一路下一步即可完成。

​2. 安装pyopenssl， 从这里https://pypi.python.org/pypi/pyOpenSSL

下载，注意要选择对应python的版本。

3. 安装twisted，在下载页面http://twistedmatrix.com/trac/wiki/Downloads

中我们可以看到

第三步：安装lxml，在这里https://pypi.python.org/pypi/lxml/下载。

这里先来一个统一验证吧，小伙伴们可以安装一个验证一个

填写图片摘要（选填）

最后一步：安装scrapy​,下载scrapy，在这里https://pypi.python.org/pypi/Scrapy下载安装 pip install scrapy

填写图片摘要（选填）

​到此，整个环境搭建成功！

最后简单说几句，python相关包的安装有三种方式：

1、去相关网站下载，安装，如上；

2、cmd中用​easy_install，不建议，只能装不能卸；

3、pip install  这个还是比较强大的，其实安装scrapy可以直接pip install scrapy ，顺利的话可以一路畅通，不顺也是按提示下载安装相关包即可。​