进入到spark目录下面:
cd /opt/app/spark3.2/conf
修改spark-env.sh文件
export PYSPARK_PYTHON=/usr/lib/python/python3.8/bin/python3.8
路径是升级python版本后的python执行文件的目录
pyspark运行成功
进入到spark目录下面:
cd /opt/app/spark3.2/conf
修改spark-env.sh文件
export PYSPARK_PYTHON=/usr/lib/python/python3.8/bin/python3.8
路径是升级python版本后的python执行文件的目录
pyspark运行成功