可能有人会遇到我这样的问题。
装scrapy之前需要先装好python的环境。我用的是python3.6。
在Win7系统安装python的scrapy爬虫框架的时候。在CMD中用了一句 pip install scrapy。
结果出现了一大堆的消息。但是其中有一行是红色的。如我下面的截图所示。
报错红色字体部分:Failed building wheel for Twisted. 出现此类消息的原因是 scrapy爬虫框架需要很多的依赖库,出现该错误的原因就是缺少了相应的依赖库。
解决pip install scrapy无法顺利安装scrapy的途径,我采用的方法如下:
1.我放弃采用pip install scrapy的方法,根据网上搜到的各个博客中所建议的,我用anaconda的方法来安装。因为该程序会自动的把许多依赖库给你下载下载下来,很方便。我下载了一个Anaconda的安装程序,
下载地址如下:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。建议下载最新的并且与自己机器相符合的版本。
2.安装Anaconda的过程如下:
前面的一直点Next就好, 第一个勾是是否把Anaconda加入环境变量,这涉及到能否直接在cmd中使用conda、jupyter、ipython等命令,推荐打勾。 第二个勾的意思是否把Anaconda自带的Python3.6设置成系统默认的Python,这个不推荐打钩。之后等待数分钟就可以。
3.Anaconda安装好之后,如果你比较心急的用conda install scrapy。你还是成功安装不了,由于默认是在国外服务器下载,可能有的文件你下载到一半失败了。所以你需要先添加一下清华的镜像源。方法如下:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda
config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda
config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda
config --set show_channel_urls yes
4.配置好镜像源以后,再用conda install scrapy。就能顺利安装scrapy爬虫框架了。利用scrapy version能查看版本就说明安装成功。