超级会员免费看
本文详细介绍了如何在Kubernetes上部署Spark 3.3.1，包括下载Spark包，构建和推送Spark镜像，配置Spark用户权限，以及在cluster模式下提交Spark任务的步骤。在提交任务时，特别强调了服务账户的配置和镜像的使用。
1）下载Spark包
wget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz
tar -xf spark-3.310-bin-hadoop3.tgz
export SPARK_HOME=/data/k8s/spark/spark/spark-3.3.1-bin-hadoop3
2）镜像打包
cd $SPARK_HOME
#构建镜像：-p ./kubernetes/dockerfiles/spark/Dockerfile，-p 指定Dockerfile
$SPARK_HOME/bin/docker-image-tool.sh -r 镜像仓库ip:端口/dmp -t 3.3.1-hadoop3 build build
#push 镜像到私有仓库
$SPARK_HOME/bin/docker-image-tool.sh -r 镜像仓库ip:端口/dmp -t 3.3.1-hadoop3 push
订阅专栏 解锁全文
扫一扫
687
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
