docker-compose快速部署spark on yarn集群

下载镜像文件

docker pull registry.cn-shenzhen.aliyuncs.com/fenglicong_test/spark2

下载docker-compose.yml文件

git clone https://code.aliyun.com/fenglicong/spark_on_yarn.git

启动集群

先进入spark_on_yarn文件夹：

docker-compose up -d

进入容器

docker exec -it master /bin/bash
docker exec -it slave1 /bin/bash

查看jps前先生效环境变量：

source /etc/profile

等一分钟后jps可看到：