hadoop
文章平均质量分 63
AmazingJadeWu
Github:https://github.com/amazingWu
开源中国:https://git.oschina.net/WU_QI
展开
-
MapReduce原理(MR1)
1.Map负责将数据打散,Reduce负责对数据进行聚集。 2.MapReduce也采用了Master/Slave结构。Master叫做JobTracker而Slave叫做TaskTracker。用户提交的计算叫做Job,而每一个Job会被划分为若干个Tasks。JobTracker负责Job和Tasks的调度,而TaskTracker负责执行Tasks。 3.向MapRe原创 2017-03-13 20:50:38 · 1010 阅读 · 0 评论 -
MapReduce缺陷
抽象层次低,需要手工编写代码来完成,使用上难以上手。只提供两个操作,Map和Reduce,表达力欠缺。一个Job只有Map和Reduce两个阶段(Phase),复杂的计算需要大量的Job完成,Job之间的依赖关系是由开发者自己管理的。处理逻辑隐藏在代码细节中,没有整体逻辑中间结果也放在HDFS文件系统中ReduceTask需要等待所有MapTask都完成后才可以开始时延高,只适用Batch数据处理原创 2017-03-13 20:55:15 · 1820 阅读 · 0 评论 -
NodeManager生命周期介绍
ResourceManager 内维护了 NodeManager 的生命周期;对于每个 NodeManager 在 ResourceManager 中都有一个 RMNode 与其对应;除了 RMNode ,ResourceManager 中还定义了 NodeManager 的状态(states)以及触发状态转移的事件(event)。具体如下: org.apache.hadoop.yarn.serve转载 2017-08-06 14:37:56 · 353 阅读 · 0 评论 -
NodeManager节点自身健康状态检测机制
每个 NodeManager 节点内置提供了检测自身健康状态的机制(详情参见NodeHealthCheckerService);通过这种机制,NodeManager 会将诊断出来的监控状态通过心跳机制汇报给 ResourceManager,然后ResourceManager 端会通过RMNodeEventType.STATUS_UPDATE 更新 NodeManager 的状态;如果此时的 Node原创 2017-08-06 14:57:22 · 3465 阅读 · 0 评论