吐槽一刻
最近为了完成作业又开始被迫学习辽~脑子不好使,只好来记录学习过程和收获,不然做完之后连咋做的可能都给忘了
打算做一个网络爬虫相关的东西,需要在scrapy框架下搞,以前只是听说过这个但没接触过,感觉很麻烦的亚子,但现在不得不做下尝试搞一搞。具体的scrapy原理还没开始深入研究,只是第一步要先搭建scrapy的环境。
写在前面:
这是一篇记录+总结型博客,主要为了加深自己的印象,同时致力于帮助像我一样在计算机学习过程中仍处于小白阶段的新手,因此尽可能的附上了命令和结果图、把我的思考过程记录下来,水平有限但真心希望能帮助到看这篇博客的人。
正文开始
初始环境:Anaconda3 + python3.7
(环境不同的朋友们可以当作安装时的思路参考一下)
百度了如何安装scrapy,看到的几篇安装指导型博客如下:
按照网友博文,在cmd中执行语句:
conda install scrapy
报错如图:
上网百度了很久,只有一个帖子是提出这个问题的,楼下有人给出了这个答案:
执行如下语句:
conda install -c conda-forge scrapy
尝试之后依然不行,还是报同样的错误。
仔细看报错,其中有一句:“scrapy -> python=2.6 -> vc==9”
思考:是不是python版本不太对
百度:anaconda python3.7环境怎么装scrapy
百度结果:普遍的人选择了自己从某官网上下载安装scrapy所需要的依赖包,然后在cmd中手动安装
尝试:连那个官网我都打不开(此处真的是口吐芬芳)
被迫继续思考:要不试试把anaconda中的python版本换一下?
百度:如何在anaconda中更换python版本
思考:我应该先看看我的anaconda有几个python环境!
尝试:打开Anaconda Prompt,输入命令
conda info --envs
结果:
看来有4个python环境,继续~
查看当前python版本(也就是上图中有✳的那个base环境中python的版本),执行命令:
python --version
结果:
换环境!(隐约记得tensorflow-gpu那个是python3.6版本的),执行命令:
activate tensorflow-gpu
再查看python版本,发现是3.6的!(此处不附图片了,懒癌晚期~)
当前环境:Anaconda3 + python3.6
再按照网友博文,在激活的这个环境中执行语句:
conda install scrapy
Done.
检测是否安装成功,执行命令:
scrapy --version
显示如下:
安装成功!
PS:期间还做过一次在Anaconda Prompt中执行“conda install -c conda-forge scrapy”的尝试,报错如下:
为什么想到要在python3.6中安装scrapy?
因为按照命令行报错中的提示查了一下scrapy的相关信息,命令是:
conda info scrapy
出现了很多包的信息,我大概看了一下,都是python36, python35, python27, python26这种,所以想到要尝试一下在python3.6环境中安装一下scrapy试试。
其他参考博客:
anaconda下安装库出现UnsatisfiableError问题
UnsatisfiableError: The following specifications were found to be in conflict
python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总
Anaconda3 , python3.7安装scrapy出错,UnsatisfiableSpecifications error