一台linux服务器做docker集群,使用docker快速搭建Spark集群的方法教程

前言

spark 是 berkeley 开发的分布式计算的框架，相对于 hadoop 来说，spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。下面来一起看看使用docker快速搭建spark集群的方法教程。

适用人群

正在使用spark的开发者

正在学习docker或者spark的开发者

准备工作

安装docker

(可选)下载java和spark with hadoop

spark集群

spark运行时架构图

如上图: spark集群由以下两个部分组成

集群管理器(mesos, yarn或者standalone mode)

工作节点(worker)

如何docker化(本例使用standalone模式)

1、将spark集群拆分

base(基础镜像)

master(主节点镜像)

worker(工作镜像)

2、编写base dockerfile

注:为方便切换版本基础镜像选择的是centos, 所以要下载java和spark, 方便调试, 可以下载好安装文件后本地搭建一个静态文件服务器, 使用node.js 的http-server可以快速搞定

命令如下

正式开始写dockerfile

3、编写master dockerfile

?

4、编写worker dockerfile

?

5、docker-compose

?

6、测试集群

访问http://localhost:50003/ 结果如图

参考链接

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对服务器之家的支持。

原文链接：http://www.jianshu.com/p/4801bb7ab9e0