1: docker环境下安装 hadoop 和 hdfs
本次安装镜像是基于 sequenceiq/hadoop-docker ,目前最新版本是hadoop:2.7.0
(1):进入docker ,执行 docker pull sequenceiq/hadoop-docker 命令开始下载 ,下载完成如下:
(2): 执行下面命令启动
docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker /etc/bootstrap.sh -bash
(3):访问webIU 界面, 验证是否安装成功
hdfs地址:http://{部署docker的服务器地址}:50070/dfshealth.html#tab-overview
hadoop 地址:http://{部署docker的服务器地址}:8088/cluster
2:docker环境下安装 spark
本次安装镜像是基于 gettyimages/spark ,目前最新版本是spark:2.4.1
(1):进入docker ,执行 docker pull gettyimages/spark 命令开始下载 ,下载完成如下:
(2): 执行下面命令启动
docker run -it -p 4040:4040 -p 8080:8080 -p 8082:8082 -h spark --name=spark gettyimages/spark -bash
(3):访问webIU 界面, 验证是否安装成功
spark地址:http://{部署docker的服务器地址}:8080/