网络爬虫之Anaconda环境下简单安装配置scrapy

吐槽一刻

最近为了完成作业又开始被迫学习辽~脑子不好使,只好来记录学习过程和收获,不然做完之后连咋做的可能都给忘了

打算做一个网络爬虫相关的东西,需要在scrapy框架下搞,以前只是听说过这个但没接触过,感觉很麻烦的亚子,但现在不得不做下尝试搞一搞。具体的scrapy原理还没开始深入研究,只是第一步要先搭建scrapy的环境。

写在前面:

这是一篇记录+总结型博客,主要为了加深自己的印象,同时致力于帮助像我一样在计算机学习过程中仍处于小白阶段的新手,因此尽可能的附上了命令和结果图、把我的思考过程记录下来,水平有限但真心希望能帮助到看这篇博客的人。

正文开始

初始环境:Anaconda3 + python3.7

(环境不同的朋友们可以当作安装时的思路参考一下)

百度了如何安装scrapy,看到的几篇安装指导型博客如下:

利用Anaconda简单安装scrapy框架

anaconda 安装scrapy

按照网友博文,在cmd中执行语句:

conda install scrapy

报错如图:

 

上网百度了很久,只有一个帖子是提出这个问题的,楼下有人给出了这个答案:

执行如下语句:

conda install -c conda-forge scrapy

尝试之后依然不行,还是报同样的错误。 

仔细看报错,其中有一句:“scrapy -> python=2.6 -> vc==9”

思考:是不是python版本不太对

百度:anaconda  python3.7环境怎么装scrapy

百度结果:普遍的人选择了自己从某官网上下载安装scrapy所需要的依赖包,然后在cmd中手动安装

尝试:连那个官网我都打不开(此处真的是口吐芬芳)

被迫继续思考:要不试试把anaconda中的python版本换一下?

百度:如何在anaconda中更换python版本

百度结果anaconda中更改python版本的方法步骤

思考:我应该先看看我的anaconda有几个python环境!

尝试:打开Anaconda Prompt,输入命令

conda info --envs

结果

 

看来有4个python环境,继续~

查看当前python版本(也就是上图中有✳的那个base环境中python的版本),执行命令:

python --version

结果

换环境!(隐约记得tensorflow-gpu那个是python3.6版本的),执行命令:

activate tensorflow-gpu

再查看python版本,发现是3.6的!(此处不附图片了,懒癌晚期~) 

当前环境:Anaconda3 + python3.6

再按照网友博文,在激活的这个环境中执行语句:

conda install scrapy

Done.

检测是否安装成功,执行命令:

scrapy --version

显示如下:

安装成功!

 

PS:期间还做过一次在Anaconda Prompt中执行“conda install -c conda-forge scrapy”的尝试,报错如下:

为什么想到要在python3.6中安装scrapy?

因为按照命令行报错中的提示查了一下scrapy的相关信息,命令是:

conda info scrapy

出现了很多包的信息,我大概看了一下,都是python36, python35, python27, python26这种,所以想到要尝试一下在python3.6环境中安装一下scrapy试试。 

 

其他参考博客:

anaconda下安装库出现UnsatisfiableError问题

UnsatisfiableError: The following specifications were found to be in conflict

python3.7 安装scrapy anaconda

python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总

Anaconda3 , python3.7安装scrapy出错,UnsatisfiableSpecifications error

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值