把pyspark的python解释器更改为python3
找到文件 spark-env.sh.template:
docker exec -it spark-master bash
cd spark/conf
注:
我的spark文件都放在docker中,所以命令对docker进行的操作
创建文件命令:touch x.txt
删除文件命令:rm x.txt
对spark-env.sh.template操作
复制并重命名文件
cp spark-env.sh.template spark-env.sh
创建文件:
touch 1.txt
重命名文件:
spark-env.sh 文件中追加内容:
# This file is sourced when running various Spark programs.
export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython
具体命令为:
echo "# This file is sourced when running various Spark programs.">>spark-env.sh
echo "export PYSPARK_PYTHON=/usr/bin/python3">> spark-env.sh