docker 环境安装hadoop ，spark

1:   docker环境下安装 hadoop 和 hdfs

            本次安装镜像是基于 sequenceiq/hadoop-docker  ，目前最新版本是hadoop:2.7.0

           

               （1）：进入docker ，执行 docker pull sequenceiq/hadoop-docker 命令开始下载 ，下载完成如下：

                （2）： 执行下面命令启动

                docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker /etc/bootstrap.sh -bash

 

                （3）：访问webIU 界面， 验证是否安装成功

                hdfs地址：http://{部署docker的服务器地址}:50070/dfshealth.html#tab-overview

                 hadoop 地址：http://{部署docker的服务器地址}:8088/cluster

2：docker环境下安装 spark 

   本次安装镜像是基于 gettyimages/spark  ，目前最新版本是spark:2.4.1

 

                （1）：进入docker ，执行 docker pull gettyimages/spark 命令开始下载 ，下载完成如下：

                  （2）： 执行下面命令启动

                                  docker run -it -p 4040:4040 -p 8080:8080 -p 8082:8082 -h spark --name=spark  gettyimages/spark -bash

 

                  （3）：访问webIU 界面， 验证是否安装成功

                               spark地址：http://{部署docker的服务器地址}:8080/