linux【ubuntu,其他版本仅供参考】下jupyter notebook中运行pyspark程序出错,查询资料发现,目前2020.11.18,pyspark仍然不支持更高版本的python,只支持到python3.7(有的博客可能写的3.6,更新了嘛)。
解决方案
- 切换anaconda中jupyter notebook 的python版本,由于过程比较复杂,经测试并没有成功
- 重装anaconda3
具体过程
- 卸载原来的anaconda3,默认安装路径为~/anaconda3,直接删除即可
$ rm -rf ~/anaconda3
然后删除配置文件~/.bashrc
中与conda有关的配置,注:在文件末尾有conda init
的注释,内容全部删除即可,还有PATH部分相关的路径配置
有一种删除的方式是使用工具anaconda-clean
然而测试发现并没有什么用,可能是我方式不对吧:-D
注意选择的版本,2020.02版仍然为python3.7,而2020.07已经更新为3.8(pyspark暂不支持)
- 安装配置,参考xmu.db
懒得跳转直接摆代码
$ cd 安装目录
$ bash Anaconda3-xxx.sh
...
默认即可,回车/yes
...
重开终端
# 去除(base)
$ conda config --set auto_activate_base false
# 配置
$ vi ~/.bashrc
修改PATH内容:
export PATH=$PATH
>>
export PATH=$PATH:/home/你的用户名/anaconda3/bin
$ source ~/.bashrc
问题基本解决了,接下来就是配置jupyter notebook,推荐参考xmu.db
解决这个问题,把linux中python版本切换倒是弄很清楚了!
【注意:最终anaconda与系统中python的版本应该一致,不一致也会报错!】
linux中python版本切换参考这里👉>>linux(ubuntu) python版本切换