docker 部署 hadoop及spark集群

1.版本信息：

Linux版本:16.04

docker:18.06.1

hadoop:2.7.6

spark:2.2

2.docker安装

该部分内容可参考https://blog.csdn.net/bingzhongdehuoyan/article/details/79411479

3.构建镜像

该部分内容请参考https://github.com/flyzer0/spark

在网上搜了很久，很多现成的镜像都是伪分布式的，索性自己构建了一个镜像，该镜像实现了一个主节点及两个从节点构成的集群。另外很多人会担心docker容器之间的网络通信问题，其实docker network create --driver=overlay --attachable XXX这条命令便可以实现。

写这篇博客的目的：1.方便自己以后回顾；2.各位搭建的过程中如果有什么问题，请联系邮箱18642984053@163.com。