hadoop
daodao072
这个作者很懒,什么都没留下…
展开
-
MapReduce AM 源码流程查看-时序图展示
前言 1.此博客是自学源码,主要通过时序图来展示,这样看起来流程更加直观 2.hadoop版本:3.1.13.我文字表达能力不强,所以才画图的。画图不易请多多支持正文1.从main函数开始MapReduce的AM启动的主类是MRAppMaster。main流程完全画起来比较复杂,都是部分流程的见图。以下图省略AM的个子服务。可以看到main方法主要逻辑很简单,就是serviceinit和serviceStart。2.serviceinit方法MRAppMaste...原创 2020-08-25 01:40:08 · 479 阅读 · 0 评论 -
YARN distributedshell AM 源码流程查看2
前言 1.此博客是对YARN distributedshell AM 源码流程查看1一步优化,上一篇过多的是源码,此篇是时序图,看起来流程更直观,推荐先看一下第一篇 2.hadoop版本:3.1.13.我文字表达能力不强,所以才画图的。画图不易请多多支持正文1.从main函数开始 下图中第7步为向ack 添加请求,ack 数据类型是Setdistributedshell AM流程序列图12.第二张序列图-处理ack 承接第一张序列图第7步,He...原创 2020-08-16 00:56:19 · 153 阅读 · 0 评论 -
YARN distributedShell 客户端 源码流程查看
前提在method:getResourceTypeInfo,{org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetAllResourceTypeInfoRequestPBImpl@da6efc73}1.获取 Cluster metric 信息method:getClusterMetrics,{}2.获取 Cluster node info from ASMmethod:getClusterNodes,{nodeStates: NS原创 2020-08-13 14:05:55 · 298 阅读 · 0 评论 -
YARN distributedshell AM 源码流程查看1
前言1. distributedshell AM 流程有点复杂,我只是简单把流程描述,排版有点low,现实样式我会慢慢改进 2 .能力有限,如有错误请在评论处指出源码 1.入口main 逐层调用ApplicationMaster.main ApplicationMaster.run amRMClient.registerApplicationMaster amRMClient.addContainerRequest(containerAsk...原创 2020-08-15 01:24:32 · 325 阅读 · 0 评论