- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 win10 环境下编译hadoop3.1.1 报错
win10 环境下编译hadoop3.1.1 已经好几次啦。安装新系统后，这次遇到个新问题，折腾一辆个小时1.mvn 命令mvn package -Pdist,native-win -DskipTests -Dtar -e -X2.报错片段一Caused by: org.apache.maven.plugin.MojoExecutionException: An Ant BuildException has occured: exec returned: 1around Ant..
2020-12-21 00:12:29
504
原创 ANTLR应用案例
ANTLR应用案例非常多，以下是组件名称和参考地址Hive:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+ClientsPresto:https://github.com/prestodb/presto/blob/master/presto-parser/src/main/antlr4/com/facebook/presto/sql/parser/SqlBase.g4 https://rockset...
2020-12-07 02:05:11
496
原创 MapReduce AM 源码流程查看-时序图展示
前言 1.此博客是自学源码，主要通过时序图来展示，这样看起来流程更加直观 2.hadoop版本：3.1.13.我文字表达能力不强，所以才画图的。画图不易请多多支持正文1.从main函数开始MapReduce的AM启动的主类是MRAppMaster。main流程完全画起来比较复杂，都是部分流程的见图。以下图省略AM的个子服务。可以看到main方法主要逻辑很简单，就是serviceinit和serviceStart。2.serviceinit方法MRAppMaste...
2020-08-25 01:40:08
479
原创 YARN distributedshell AM 源码流程查看2
前言 1.此博客是对YARN distributedshell AM 源码流程查看1一步优化，上一篇过多的是源码，此篇是时序图，看起来流程更直观，推荐先看一下第一篇 2.hadoop版本：3.1.13.我文字表达能力不强，所以才画图的。画图不易请多多支持正文1.从main函数开始 下图中第7步为向ack 添加请求，ack 数据类型是Setdistributedshell AM流程序列图12.第二张序列图-处理ack 承接第一张序列图第7步，He...
2020-08-16 00:56:19
153
原创 YARN distributedshell AM 源码流程查看1
前言1. distributedshell AM 流程有点复杂，我只是简单把流程描述，排版有点low，现实样式我会慢慢改进 2 .能力有限，如有错误请在评论处指出源码 1.入口main 逐层调用ApplicationMaster.main ApplicationMaster.run amRMClient.registerApplicationMaster amRMClient.addContainerRequest(containerAsk...
2020-08-15 01:24:32
324
原创 YARN distributedShell 客户端 源码流程查看
前提在method:getResourceTypeInfo,{org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetAllResourceTypeInfoRequestPBImpl@da6efc73}1.获取 Cluster metric 信息method:getClusterMetrics,{}2.获取 Cluster node info from ASMmethod:getClusterNodes,{nodeStates: NS
2020-08-13 14:05:55
298
基于Java RMI的ATM分布式系统设计
2011-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人