基于docker-compose安装spark 1+3及Spark On Yarn模式集群
此处的样例是参考别人的,之后自己整合一套可以使用的1+3模式的集群。spark镜像可以自行在docker hub
选择自己想要的进行替换即可。
备注:此处未开启日志功能,在 WEB 界面上面找不到 log的,如需开启,可自行添加参数或自己进入容器手动修改。
可参考链接: 基于docker-compose安装hadoop 1+3模式集群.
1、docker-compose.yml
:
version: "2.2"
services:
master:
image: gettyimages/spark:1.6.0-hadoop-2.6
container_name: master
hostname: master
command: bin/spark-class org.apache.spark.deploy.master.Master -h master
network_mode: 'host'
restart: always
environment:
MASTER: spark://master:7077
SPARK_CONF_DIR: /conf
# 此处设置了 WEB UI界面的端口,因为这个端口用的比较多,上面的Hadoop那边好像用到了,可改回8080
SPARK_MASTER_WEBUI_PORT: 8090
volumes:
- ./conf/master:/conf
- ./data:/tmp/data