hadoop
文章平均质量分 82
混绅士
这个作者很懒,什么都没留下…
展开
-
YARN源码分析之ApplicationMaster启动流程之RM端
任何一个计算框架或者说一个服务要运行在yarn上,都需要一个master来对job进行管理,这个master就是ApplicationMaster。ApplicationMaster是一个job的大脑,下面就以MapReduce为例,介绍下ApplicationMaster的启动流程。首先client向RM提交一个application请求,RM创建一个application,然后再创建一个appa原创 2017-07-12 00:02:34 · 841 阅读 · 0 评论 -
YARN源码分析之ApplicationMaster启动流程之NM端
上一篇介绍了RMAppMaster在RM端的启动流程,本篇继续介绍下在nodemanager端的启动流程。接着上篇的逻辑继续看下node端的startContainers代码:public StartContainersResponse startContainers(StartContainersRequest requests) throws YarnException,原创 2017-07-12 09:52:02 · 1134 阅读 · 0 评论 -
YARN源码分析之ApplicationMaster分配策略
一次和朋友的谈话中涉及到ApplicationMaster的container分配策略是什么,我映像中是随机分配的,但他说是根据各节点空闲资源来分配的。 之前看代码的时候也没注意这块的逻辑,既然现在有了疑惑那就去代码里瞅瞅。个人站点地址:http://bigdatadecode.club/YARN源码分析之ApplicationMaster分配策略.html从MR的运行log中可以找到AM的con原创 2017-06-15 10:54:50 · 2957 阅读 · 1 评论