1.把准备好的安装包文件上传的宿主机器
jdk-8u11-linux-x64.tar.gz
scala-2.12.8.tgz
spark-2.3.0-bin-hadoop2.7.tgz
这些文件尽量去官网下载,我这些都是官网下的,速度不慢。
2.拉取centos7作为基础容器
docker pull centos:7
3.创建sparkDockerFile文件
vi sparkDockerFile
#输入一下内容
FROM centos:7
MAINTAINER shizc
ADD jdk-8u11-linux-x64.tar.gz /usr/local/
ADD scala-2.12.8.tgz /usr/local/
ADD spark-2.3.0-bin-hadoop2.7.tgz /usr/local/
ENV JAVA_HOME /usr/local/jdk1.8.0_11
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV SPARK_HOME /usr/local/spark-2.3.0-bin-hadoop2.7
ENV SCALA_HOME /usr/local/scala-2.12.8
ENV PATH=$JAVA_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$PATH
4.build出来一个spark镜像
docker build -t spark:v1 . -f sparkDockerFile
5.启动spark镜像
#启动
docker run -d -it spark:v1 /bin/bash
6.进入镜像验证
#查看启动的spark:vi的id
docker ps
#根据id进入容器
docker exec -it 8b553feafe94 /bin/bash
#输入spark-shell 进行验证