![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
daodao072
这个作者很懒,什么都没留下…
展开
-
MapReduce AM 源码流程查看-时序图展示
前言 1.此博客是自学源码,主要通过时序图来展示,这样看起来流程更加直观 2.hadoop版本:3.1.1 3.我文字表达能力不强,所以才画图的。画图不易请多多支持 正文 1.从main函数开始 MapReduce的AM启动的主类是MRAppMaster。main流程完全画起来比较复杂,都是部分流程的见图。以下图省略AM的个子服务。可以看到main方法主要逻辑很简单,就是serviceinit和serviceStart。 2.serviceinit方法MRAppMaste...原创 2020-08-25 01:40:08 · 493 阅读 · 0 评论 -
YARN distributedshell AM 源码流程查看2
前言 1.此博客是对YARN distributedshell AM 源码流程查看1一步优化,上一篇过多的是源码,此篇是时序图,看起来流程更直观,推荐先看一下第一篇 2.hadoop版本:3.1.1 3.我文字表达能力不强,所以才画图的。画图不易请多多支持 正文 1.从main函数开始 下图中第7步为向ack 添加请求,ack 数据类型是Set distributedshell AM流程序列图1 2.第二张序列图-处理ack 承接第一张序列图第7步,He...原创 2020-08-16 00:56:19 · 158 阅读 · 0 评论 -
YARN distributedShell 客户端 源码流程查看
前提 在 method:getResourceTypeInfo,{org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetAllResourceTypeInfoRequestPBImpl@da6efc73} 1.获取 Cluster metric 信息 method:getClusterMetrics,{} 2.获取 Cluster node info from ASM method:getClusterNodes,{nodeStates: NS原创 2020-08-13 14:05:55 · 305 阅读 · 0 评论 -
YARN distributedshell AM 源码流程查看1
前言 1. distributedshell AM 流程有点复杂,我只是简单把流程描述,排版有点low,现实样式我会慢慢改进 2 .能力有限,如有错误请在评论处指出 源码 1.入口main 逐层调用 ApplicationMaster.main ApplicationMaster.run amRMClient.registerApplicationMaster amRMClient.addContainerRequest(containerAsk...原创 2020-08-15 01:24:32 · 341 阅读 · 0 评论