Hadoop源码分析
myllxy
欢迎关注知乎专栏:https://www.zhihu.com/column/c_1274036496291827712
展开
-
Hadoop 2.7.1-Yarn 源码分析(三) Client 正式提交应用程序到 RS
Client 正式提交应用程序到 RS原创 2019-04-26 20:05:57 · 490 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(一) 应用程序提交&&获得JobId
1.我们是通过 hadoop 这个脚本来提交 mapreduce 作业的: 这几个是比较常用的: 2.定位到 RunJar(): 获得 main-class 中的主类名: 在 hadoop.tmp.dir 下创建 hadoop-unjar* 目录: 将文件解压到该工作目录下: 根据 java 反射机制执行 jar 包主类的 main 方法: 像上面这种类加载问题可以去...原创 2019-04-18 22:13:52 · 738 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(目录) Yarn工作机制
mapreduce 应用程序提交,获得 JobId: https://blog.csdn.net/qq_39327985/article/details/89389515 持续更新~原创 2019-04-24 12:40:26 · 273 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(二) Client 连接 ResourceManager
从 YARNRunner 被调度开始: 传入了一个 ResourceMgrDelegate,这个类负责与 ResourceManager 沟通: 首先看 createYarnClient 方法: 返回的是一个 YarnClientImpl 实例 接下来看 init() 方法: 我们可以看到 ResourceMgrDelegate 是 AbstractService 的实现类: 这个 se...原创 2019-04-19 21:44:34 · 525 阅读 · 0 评论
分享