![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop家族
小雨滴滴滴的童鞋
这个作者很懒,什么都没留下…
展开
-
MapReduce体系架构详解
1. 什么是MapReduce?简言之,mapreduce 一种可用于数据处理的以数据为中心(数据本地化)分布式编程模型,采用的是一种分而治之的思想,分为map和reduce两个阶段。Map: 将一个Job分解为若干个taskRecude: 完成分解的task,并且汇总结果。eg: 图书馆以书架进行图书清点。这里“以书架为单位”,就是map的过程,分配任务。而每个书架安排人来清点并...原创 2018-08-09 21:06:36 · 3007 阅读 · 0 评论 -
YARN架构详解
MapReduce v1的不足Jobtraker受内存限制,导致扩展性受限。因为其需要存储每个作业的信息。另一方面,其采用粗粒度的锁导致心跳时间边长。 中心化架构的通病,一旦Jobtraker崩溃,会导致整个集群崩溃。 以mapreduce为中心,MapReduce不支持其他的编程模型,如机器学习,图算法 tasktraker的Map 槽和Reduce槽是固定的,不是动态分配的资源。Y...原创 2018-08-14 10:01:30 · 2252 阅读 · 0 评论