Win7系统安装Scrapy爬虫框架

可能有人会遇到我这样的问题。

装scrapy之前需要先装好python的环境。我用的是python3.6。

在Win7系统安装python的scrapy爬虫框架的时候。在CMD中用了一句 pip install scrapy。

结果出现了一大堆的消息。但是其中有一行是红色的。如我下面的截图所示。

报错红色字体部分：Failed building wheel for Twisted. 出现此类消息的原因是 scrapy爬虫框架需要很多的依赖库，出现该错误的原因就是缺少了相应的依赖库。

解决pip install scrapy无法顺利安装scrapy的途径，我采用的方法如下：

1.我放弃采用pip install scrapy的方法，根据网上搜到的各个博客中所建议的，我用anaconda的方法来安装。因为该程序会自动的把许多依赖库给你下载下载下来，很方便。我下载了一个Anaconda的安装程序，

下载地址如下：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。建议下载最新的并且与自己机器相符合的版本。

 

2.安装Anaconda的过程如下：

前面的一直点Next就好， 第一个勾是是否把Anaconda加入环境变量，这涉及到能否直接在cmd中使用conda、jupyter、ipython等命令，推荐打勾。 第二个勾的意思是否把Anaconda自带的Python3.6设置成系统默认的Python，这个不推荐打钩。之后等待数分钟就可以。

3.Anaconda安装好之后，如果你比较心急的用conda install scrapy。你还是成功安装不了，由于默认是在国外服务器下载，可能有的文件你下载到一半失败了。所以你需要先添加一下清华的镜像源。方法如下：

 

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda 

config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda 

config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda 

config --set show_channel_urls yes

4.配置好镜像源以后，再用conda install scrapy。就能顺利安装scrapy爬虫框架了。利用scrapy version能查看版本就说明安装成功。