- 博客(4)
- 收藏
- 关注
原创 zookeeper与etcd
背景最近在看到Pachyderm的介绍时,看到作者拿YARN和Kubernetes做类比,拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解,毕竟他们都有资源管理和调度的职能,只不过YARN上运行的对象是JVM,而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了,在我之前的概念里zookeeper并不是一个存储组件啊,
2017-09-29 14:31:46 1137
原创 MapReduce1的工作原理
背景《Hadoop权威指南》这本书上关于MapReduce的工作机制进行了详细的介绍,job运行过程每一步的讲解比较清晰,在此进行整理和汇总。MapReduce1 简介MapReduce1 是Hadoop2.0之前的MapReduce程序调度机制,也就是YARN出现之前的经典调度模型,最顶层包含了4个独立的实体。客户端, 提交MapReduce程序jobtracker,协调作业的运行。
2017-09-27 15:29:20 433
翻译 (翻译)Pachyderm介绍-建造一个现代的Hadoop
背景最近在调研时发现了Pachyderm这个项目,感觉他们做的工作挺有意思的。Pachyderm将Docker和Hadoop联合起来,旨在使得大数据分析的过程更加便捷,众多非Java语言的工具也可以方便的使用到大数据的分析中来,并在HDFS的基础上增加了版本控制,使得数据可以进行增量分析。我在Medium上看到一篇相关介绍,讲的比较详细,原文是英文的,因此翻译下来分享一下,也方便自己之后的查阅。 原
2017-09-26 20:51:05 2476
原创 Ambari 功能简介
背景最近在做关于Hadoop集群的可视化部署相关的调研,发现了Ambari这个有趣的东西,在使用的过程中,整理了一部分功能列表,在此分享。Ambari简介Ambari是Hortonworks开源的Hadoop平台的管理软件,具备Hadoop组件的安装、管理、运维等基本功能,提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。功能列表操作级别:
2017-09-26 20:48:44 24324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人