scrapy安装笔记

最近刚开始做关于scrapy的爬虫。由于个人向来偏向于借鉴前辈的经验以及不太具有系统性和严谨性，以至于在学习scrapy的过程中遇到了不小的麻烦，走了弯路。由此在这里写下自己的血泪史，做一份记录。

 

安装scrapy

 

首先，无论学习什么东西最好都能找到官方网站的说明和下载资源。好处有两点，第一，它对于软件或者程序的说明会比较全面，第二，它发布的版本永远都是最新的。相反，你在其他论坛或者在前辈写下的教程笔记中找到的方法或者资源，有可能相对比较落后了。这样有可能不会有什么问题还是能用，但大多数情况下，程序或者软件中会出现一定的改变，然而为了区别这些改变，你又不得不花更多的时间。

 

为了更好地说明之后的步骤，在这里首先给出scrapy的中文教程：http://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/overview.html

；相对的，英文教程：http://doc.scrapy.org/en/latest/intro/overview.html

；中文文档为版本0.24的说明，英文教程为当前最新版本的说明

 

安装scrapy是个相对比较复杂的过程，首先需要安装python2.7；之后安装，setuptools，Zope.Interface，Twisted，w3lib，libxml2，pyOpenSSL，最后安装Scrapy。网上有前辈写下了依次安装的过程，以及验证过程。但这样做比较麻烦，在上方给出的教程中有简化的安装方法。

这里简要说明在windows环境下的安装方法：（以下所有要用的安装包已分享到网盘，http://pan.baidu.com/s/1hrqa2Ja

写下笔记的本日日期是2016.2.17，请到官网确认是否有版本更新。分享是为了防止某些网站被国内屏蔽而导致无法访问下载）

1、从 http://python.org/download/  上安装Python 2.7。

2、添加环境变化：点开计算机；菜单栏第二行“系统属性”；左边“高级系统设置”，“高级”中最下方“环境变量”；随便上方或者下方新建PATH路径（如果已有该变量，则之间编辑在分号后添加），值的一行填入的是（C:\Python2.7\;C:\Python2.7\Scripts\;）；当然，这里对应的是python的安装路径，你不想安装在C盘，在其他位置也是可以的，例如我在D盘下的安装也是完全没有问题。

3、安装之后启动cmd命令行（开始菜单直接在搜索栏中输入CMD回车即可），输入“python –version”即可查看python的版本号

如果显示python为未知命令，请务必检查你的环境变量是不是设置对了……

4、从http://sourceforge.net/projects/pywin32/ 安装 pywin32

5、从https://pip.pypa.io/en/latest/installing.html 安装 pip。细心的朋友在这里会发现，第一步安装的python包里已经包含了setuptools以及pip。这里其实就不用重复安装了，但如果你是之前安装过Python的同志，有可能就需要另外再安装pip。虽然

再回到这里，虽然不需要再重复安装，但以上安装包里带的pip是旧版本的，需要升级，升级方法：打开cmd命令行，输入“Python –m pip install –upgrade pip”。

6、现在我们终于可以安装scrapy了， Cmd命令行下输入“pipinstall Scrapy”。可以看到pip帮助我们把所有需要的都统一下载了，因此不需要像网上其他教程一样单独一个一个下载，省去了不少的麻烦。

如果发现缺少特定文件上述方法出现问题无法安装，这里有前辈的一份安装教程http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html。

用此方法一步步进行也能安装scrapy，不过版本比较久，选择scrapy时，自己选择最新版本即可。网盘中给出了0.24版本和1.0版本。建议安装0.24版本，与上方的0.24版本教程相配。要替换直接覆盖替换，不需要卸载（简直坑爹，我对从1.0.5版本还原到0.24版本还想了很久该怎么卸载）。