源码阅读
大数据等开源技术源码阅读分享
知了小巷
Java 大数据 架构设计;微信可关注 知了小巷 公众号,一起交流学习!
展开
-
Spark源码解析-Yarn部署流程(ApplicationMaster)
Spark源码解析-Yarn部署流程(ApplicationMaster)可微信搜索 知了小巷 ,关注公众号支持一下,谢谢。另外,公众号后台回复 资料 ,可领取大数据2020学习视频资料。前文【Spark源码解析Yarn部署流程(SparkSubmit)】中createContainerLaunchContext用来运行ApplicationMaster。主要调用是在:yarnClient.submitApplication(appContext)。RM:ResourceManager。原创 2020-10-13 22:14:26 · 956 阅读 · 0 评论 -
Hadoop YARN:ApplicationMaster向ResourceManager注册AM源码调试
#0. 先看一下测试demo的运行流程a.创建一个YARN客户端YarnClient,并与ResourceManager建立连接b.通过YARN客户端创建一个应用并获取到应用提交上下文对象、设置相关的属性 特别是需要设置setAMContainerSpec, 防止后面getTokensConf时报空指针异常; 还需要设置setUnmanagedAM,不需要RM来管理AM(分配并启动Container),置为true之后就不再需要设置请求的资源大小了(UAM主要...原创 2020-07-01 00:27:57 · 677 阅读 · 0 评论 -
Hadoop YARN:ApplicationMaster与ResourceManager交互源码解析
ApplicationMaster<-->ResourceManager“通用”YARN应用涉及的角色及交互:RM:ResourceManagerAM:ApplicationMasterNM:NodeManager交互中用到的主要通信协议:ApplicationClientProtocolApplicationMasterProtocolContainerManagementProtocolClient<-->ResourceMa...原创 2020-06-25 17:01:24 · 431 阅读 · 0 评论 -
Apache Hadoop YARN:Client客户端与ResourceManager源码DEBUG
本文将通过DEBUG的方式进行源码跟踪,探查YARN客户端与ResourceManager之间简单的交互过程,以yarnClient.getAllQueues()获取YARN集群所有队列信息为例进行演示。Hadoop版本3.2.1DEBUG环境:IntelliJ IDEA一、 测试用例这里直接调用YarnClient的静态方法createYarnClient()创建一个YarnClient实例new YarnClientImpl();。yarnClient.init(c.原创 2020-06-16 00:32:44 · 1062 阅读 · 0 评论 -
Apache Hadoop YARN:Client与ResourceManager交互源码解析
本文主要解析Client<-->ResourceManager之间接口(方法)调用过程(不涉及RPC细节)。“通用”YARN应用涉及的角色及交互:RM:ResourceManagerAM:ApplicationMasterNM:NodeManager交互中用到的主要通信协议:ApplicationClientProtocolApplicationMasterProtocolContainerManagementProtocol客户端程序与RM进行交..原创 2020-06-14 14:23:56 · 817 阅读 · 1 评论