// 这是创建的虚拟环境
python3 -m venv ../venv/python
方式一
# 在代码中配置环境变量
import os
os.environ["SPARK_HOME"] = "/user/venv/python/bin/python"
os.environ["PYSPARK_PYTHON"] = "/user/venv/python/bin/python"
方式二
# ~/.bashrc 添加环境变量
vim ~/.bashrc
export PYSPARK_PYTHON=/user/venv/python/bin/python
export PYSPARK_DRIVER_PYTHON=/user/venv/python/bin/python
方式三(好像没有起作用)
# spark-env.sh 添加环境变量
vim spark-env.sh
export PYSPARK_PYTHON=/user/venv/python/bin/python
export PYSPARK_DRIVER_PYTHON=/user/venv/python/bin/python
有问题或不足的地方,欢迎留言指出