基于docker-compose安装spark 1+3及Spark On Yarn模式集群

此处的样例是参考别人的，之后自己整合一套可以使用的1+3模式的集群。spark镜像可以自行在docker hub选择自己想要的进行替换即可。

备注：此处未开启日志功能，在 WEB 界面上面找不到 log的，如需开启，可自行添加参数或自己进入容器手动修改。

可参考链接: 基于docker-compose安装hadoop 1+3模式集群.

1、docker-compose.yml：

version: "2.2"
services:
  master:
    image: gettyimages/spark:1.6.0-hadoop-2.6
    container_name: master
    hostname: master
    command: bin/spark-class org.apache.spark.deploy.master.Master -h master
    network_mode: 'host'
    restart: always
    environment:
      MASTER: spark://master:7077
      SPARK_CONF_DIR: /conf
      # 此处设置了 WEB UI界面的端口，因为这个端口用的比较多，上面的Hadoop那边好像用到了，可改回8080
      SPARK_MASTER_WEBUI_PORT: 8090
    volumes:
      - ./conf/master:/conf
      - ./data:/tmp/data