scrapy python3教程_python3安装scrapy教程_安装Scrapy教程

Scrapy，是基于python的网络爬虫框架，它能从网络上爬下来信息，是data获取的一个好方式。于是想安装下看看。

进到它的官网，安装的介绍页面

有3种装法，一个是从pip，一个是从源码编译，一个是从conda

根据之前的知识，pip就已经是集成在python中的包管理工具，最简单明了，就忽视了官网介绍界面的一句话

Note that sometimes this may require solving compilation issues for some Scrapy dependencies depending on your operating system

结果在编译阶段报了很多错误，解决一个还有一个。

然后就放弃了，从源码编译，跟pip一样，也是一堆编译错误。

没办法，就去看conda，下载了个miniconda，60多M吧。仔细一研究结果爽死了。

可能python也注意到了它的包下载下来需要编译，编译的话需要依赖自己OS的环境配置，经常出错的这个问题。

miniconda是个已经安装好了python的一个集成环境，等于下载安装好了miniconda也就是下载好了基本的python核心程序，然后可以通过conda命令来来下载conda已经编译好的包来做功能扩展。也就是scrapy包以及它依赖的lxml,twisted等编译的我半死的包都是已经跟编译好的。那下载下来直接用就可以了。