错误原因
pyspark的使用过程中,spark版本小于2.1的是不支持python3.6版本的,
所以将python3.6的版本更换成小于3.6的版本。
解决方案
0.创建并使用虚拟的3.5环境
1.使用:conda info --envs 查看anaconda自带的环境
2.添加一个python3.5的环境,并指定名字为python35:
conda create --name python35 python3.5
Conda会自动下载并部署
3.再次查看环境,是否出现python35的环境
conda info --envs
也有其虚拟环境的路径,可在pycharm中的setting设置。
4.切换至35的环境
windows:activate python35
Linux:source activate python35
5.切回原来的Python环境,可执行命令:
source deactivate Python35
6.如果不想要,可以删除
conda remove --name python35 -all