问题描述:
问题原因:
spark运行python环境与centos7本地python环境冲突
解决方案:
/etc/profile文件 添加如下代码(根据自己环境上的python环境修改路径)
export PYSPARK_DRIVER_PYTHON=/export/server/miniconda3/envs/pyspark/bin/python3.8
然后 source /etc/profile生效
萌新第一次写博客,写的不好请见谅
问题描述:
问题原因:
spark运行python环境与centos7本地python环境冲突
解决方案:
/etc/profile文件 添加如下代码(根据自己环境上的python环境修改路径)
export PYSPARK_DRIVER_PYTHON=/export/server/miniconda3/envs/pyspark/bin/python3.8
然后 source /etc/profile生效
萌新第一次写博客,写的不好请见谅