1.拖取Spark镜像
docker pull bde2020/spark-master
2.运行Spark镜像
# -h 主机名 -e 是否开机自启动,我选了true
docker run -itd --name spark-master -h spark-master -e ENABLE_INIT_DAEMON=true bde2020/spark-master
3.启动Spark
docker exec -it spark-master bash
4.启动Python编程环境
cd /spark/bin
./pyspark
启动pySpark bin目录
./pyspark 默认启动的是python 2
需要就该配置文件
修改spark-env.sh文件,在末尾添加
PYSPARK_PYTHON=/usr/bin/python3 实际的路径地址