关于Spark-2.1.0与python3.6及以上版本不兼容问题
前两天在Ubuntu16.04上安装Anaconda3时,conda将python3.5升级至3.7版本,导致pyspark无法正常启动,不知道怎么回滚到3.5版本,使用whereis python
命令后将有关python3.7的文件全部删除,包括/root/anaconda3/bin/python,导致jupyter无法启动,pyspark也无法正常使用,使用python -V
命令查看python版本 显示 python2.7.12 应为Ubuntu16.04自带的python版本。
无法使用conda install python=3.5安装python3.5版本(conda命令是可用的,就是使用该命令安装python3.5时莫得反应??换了清华、中科大等镜像源也毫无作用…)
不得已使用rm -rm /root/anaconda3
直接删掉anaconda3,
最后找到了使用python3.5的版本anconda3
转载:https://blog.csdn.net/CGJustDoIT/article/details/91897362
还有一个办法,就是安装Spark-2.2.0版本,该版本可用python3.6
哎,浪费了这么多时间,自己记录一下,以免以后继续踩坑…