【Python】关于安装爬虫框架scrapy的感悟-CSDN博客

前景提要：

　　boss看我最近闲得很，决定让我学习一下新知识----python 爬虫

安装过程：

　　前一周初步了解了一下python语言，给我的感觉是python很逗，像PHP一样，不要需要对变量类型进行说明，系统会根据变量赋值的类型自动进行类型的确定，有点类似var=value，而且语言的块是根据空格进行分段的（看视频中，老师提示了一下，空格和tab是不能混着用的）。这期间简单的进行了一些“helloworld”的编写，python在导入包库、模块的途径感觉和C#很像。大体了解python语言的语法后，就开始对scrapy框架的研究。

　　由于之前没有接触过python，所以一切的开始都是茫然的。

　　最开始装完python，就在想，难不成以后写程序都要利用命令行去写，心中一大推的fu*k。上网搜索了一些IDE，比较后选择了pycharm。这货能像vs一样对方法函数进行提示。

　　之后就开始安装scrapy框架。网上搜索了一大堆的教程，根据自己的分类大体分为通过pip安装一些Python需要的库后在命令行中安装scrapy。这种方法我试了（http://blog.csdn.net/qy20115549/article/details/52528896）真的很繁琐，而且在安装setuptools时出现了多次错误，之后的过程变没有继续尝试下去。上面的链接里有个叫做pywin32的应用，我在网上查了一下，大体是一个关于Windows的库的集成包。之后被告知可以通过anaconda这个科学环境去安装scrapy，不得不说anaconda确实是一个集成神器，里面自己集成了python而且还自带ide记以及开发过程中所需要的扩展库。安装完anaconda后利用conda install scrapy=0.24命令安装了scrapy，这期间出过一下小问题，由于我本机原来安装的python版本为2.7，后来使用的anaconda环境为3.0版，在anaconda prompt中安装时会提示是否进行python版本的降级处理，点了好几次yes后无法安装，根据错误提示发现是权限不够，所以在运行anaconda prompt时建议右键管理员运行，以便省去不必要的麻烦。根据conda list查看scrapy已经安装完成。

　　打开anaconda navigator发现里面集成一个名字叫做spyder的IDE。用了一下spider后发现没有pycharm好用，就想如何把anaconda和pycharm联系到一起，度娘后真的可以。链接（http://blog.csdn.net/levy_cui/article/details/51143153）在此。

　　链接：http://pan.baidu.com/s/1bp2dQph 密码：yx7w（pycharm和anaconda）