我很早之前就说过Py2与Py3区别并不大,所以我有理由相信稍微有些基础的对于两个版本切换并没有什么问题。为了让读者能同时掌握py2与py3,以后我的文章中也会穿插Py2与Py3,这篇文章我就是用Py3的。
**题外话:**可以通过命令行来切换py2与py3,这里是设置教程,很简单的,直接看链接吧。 http://blog.csdn.net/u014465934/article/details/73497040
今天我们要学习使用用Scrapy爬虫框架。在这之前我们先要把环境搭建好。
老办法打开Pycharm. File ==>Setting==>Project Interpreter ==>右边有一个绿色的 '+' 来添加以下库
。
**注:**有些库可能已经安装了,就直接跳过,没有安装请记得安装。
没有选择使用pip方式来安装,是因为这安装过程中指不定会出现什么坑,考虑到我们是快速学习,没有必要去纠结这些坑所以我全部是借用pycharm来安装的.
依次安装: lxml
, pywin32
,Twisted
,pyOpenSSL
,zope.interface
,Scrapy
安装完毕后,直接在Pycharm工具的底部Terminal中,输入命令 scrapy startproject myScrapy
,就可以创建你的爬虫的项目,其中 myScrapy
是你的项目名称