这两天想学网络爬虫开发 就看了崔大的教程 果不其然又卡在了第一步 安装 上
网络爬虫里要用到的请求库有 requests、selenium、ChromeDriver、PhantomJS和aiohttp
requests和selenium都直接用pip就装好了
pip3 install requests
pip3 install selenium
ChromeDriver安装时 先在ChromeDriver官网(https://sites.google.com/a/chromium.org/chromedriver)上找到自己浏览器版本对应的ChromeDriver对应的版本 我的浏览器是80.0 对应的ChromeDriver版本是80.0.3987.106 找到之后在镜像站(https://chromedriver.storage.googleapis.com/index.html)下载对应的安装包 下完之后把解压出的可执行文件配置到环境变量中即可 然后再控制台验证
PhantomJS直接在官网下载即可(http://phantomjs.org) 同样是下完之后解压 把解压完的可执行文件配置到环境变量中即可
然后
最让人头大的来了
aiohttp
按照教程上说的用
pip3 install aiohttp
试了无数次都无果 报错如下
试了网上找的很多方法 但翻来覆去都是这个样子 我并不知道是因为什么出现的这个问题(因为没看懂报错ORZ) 巨绝望 后来重新安装了一遍anaconda 依旧不行
后来抱着爱咋咋地的心态 又找了些前辈们的经验 觉得可能是因为网络的问题 anaconda默认的镜像源在国外 国内访问不稳定 很容易断 所以就改用了清华的镜像
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
具体操作如下:
1 在开始菜单中打开anaconda navigator
2 单击屏幕中上方的 channels(下图1)
3 单击 add 并把上边三个镜像都加进去 并删除默认镜像
4 单击update channels(下图2)
5 从左边导航栏进入environments
6 在最右侧的框中找到自己要用的请求库 就是我要用的aiohttp
7 通过搜索结果安装即可
↑↑↑图1 点击application on后边的channels
↑↑↑图2 更改镜像源
↑↑↑图3 把1设为all 在2处找自己需要的库
然后就按照它的指示继续就好了
参考来源:
https://www.jianshu.com/p/29939b94d9cc
数据处理00:Python专用发行版Anaconda
https://blog.csdn.net/bbc2005/article/details/81057792
Anaconda 安装第三方库失败的解决办法