最近刚开始做关于scrapy的爬虫。由于个人向来偏向于借鉴前辈的经验以及不太具有系统性和严谨性,以至于在学习scrapy的过程中遇到了不小的麻烦,走了弯路。由此在这里写下自己的血泪史,做一份记录。
安装scrapy
首先,无论学习什么东西最好都能找到官方网站的说明和下载资源。好处有两点,第一,它对于软件或者程序的说明会比较全面,第二,它发布的版本永远都是最新的。相反,你在其他论坛或者在前辈写下的教程笔记中找到的方法或者资源,有可能相对比较落后了。这样有可能不会有什么问题还是能用,但大多数情况下,程序或者软件中会出现一定的改变,然而为了区别这些改变,你又不得不花更多的时间。
为了更好地说明之后的步骤,在这里首先给出scrapy的中文教程:http://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/overview.html
;相对的,英文教程:http://doc.scrapy.org/en/latest/intro/overview.html
;中文文档为版本0.24的说明,英文教程为当前最新版本的说明
安装scrapy是个相对比较复杂的过程,首先需要安装python2.7;之后安装,setuptools,Zope.Interface,Twisted,w3lib,libxml2,pyOpenSSL,最后安装Scrapy。网上有前辈写下了依次安装的过程,以及验证过程。但这样做比较麻烦,在上方给出的教程中有简化的安装方法。
这里简要说明在windows环境下的安装方法:(以下所有要用的安装包已分享到网盘,http://pan.baidu.com/s/1hrqa2Ja
写下笔记的本日日期是2016.2.17,请到官网确认是否有版本更新。分享是为了防止某些网站被国内屏蔽而导致无法访问下载)
1、从 http://python.org/download/ 上安装Python 2.7。
2、添加环境变化:点开计算机;菜单栏第二行“系统属性”;左边“高级系统设置”,“高级”中最下方“环境变量”;随便上方或者下方新建PATH路径(如果已有该变量,则之间编辑在分号后添加),值的一行填入的是(C:\Python2.7\;C:\Python2.7\Scripts\;);当然,这里对应的是python的安装路径,你不想安装在C盘,在其他位置也是可以的,例如我在D盘下的安装也是完全没有问题。
3、安装之后启动cmd命令行(开始菜单直接在搜索栏中输入CMD回车即可),输入“python –version”即可查看python的版本号
如果显示python为未知命令,请务必检查你的环境变量是不是设置对了……
4、从http://sourceforge.net/projects/pywin32/ 安装 pywin32
5、从https://pip.pypa.io/en/latest/installing.html 安装 pip。细心的朋友在这里会发现,第一步安装的python包里已经包含了setuptools以及pip。这里其实就不用重复安装了,但如果你是之前安装过Python的同志,有可能就需要另外再安装pip。虽然
再回到这里,虽然不需要再重复安装,但以上安装包里带的pip是旧版本的,需要升级,升级方法:打开cmd命令行,输入“Python –m pip install –upgrade pip”。
6、现在我们终于可以安装scrapy了, Cmd命令行下输入“pipinstall Scrapy”。可以看到pip帮助我们把所有需要的都统一下载了,因此不需要像网上其他教程一样单独一个一个下载,省去了不少的麻烦。
如果发现缺少特定文件上述方法出现问题无法安装,这里有前辈的一份安装教程http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html。
用此方法一步步进行也能安装scrapy,不过版本比较久,选择scrapy时,自己选择最新版本即可。网盘中给出了0.24版本和1.0版本。建议安装0.24版本,与上方的0.24版本教程相配。要替换直接覆盖替换,不需要卸载(简直坑爹,我对从1.0.5版本还原到0.24版本还想了很久该怎么卸载)。