- 博客(2)
- 收藏
- 关注
RSS订阅转载 Hadoop Yarn学习笔记（2）
Yarn的任务提交流程与状态机 任务提交流程（1） 来自：链接：https://www.jianshu.com/p/254d01eaf884 1、job client向ResourceManager提交执行job申请。 2、ResourceManager接收job请求， 生成job id， 返回job id, staging工作目录等信息给job client。 3、Client把资源jar等拷...
2019-05-16 07:57:47
164
原创 Hadoop Yarn学习笔记（1）
Yarn的基本角色概念 原生的Hadoop MapReduce过程存在几个问题： 1、JobTracker单节点同时管理资源、任务，负载高，导致集群节点存在上线，计算过程上下文切换成本高 2、资源的slot配置，Map/Reduce的资源配比固定导致资源浪费 3、代码比较负载，资源/任务一起管理 4、集群的可接入性差，因为JobTracker/TaskTracker已经做了MapReduce的定制...
2019-05-16 00:40:18
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人