Hadoop源码分析
myllxy
欢迎关注知乎专栏:https://www.zhihu.com/column/c_1274036496291827712
展开
-
Hadoop 2.7.1-Yarn 源码分析(三) Client 正式提交应用程序到 RS
Client 正式提交应用程序到 RS原创 2019-04-26 20:05:57 · 464 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(一) 应用程序提交&&获得JobId
1.我们是通过 hadoop 这个脚本来提交 mapreduce 作业的:这几个是比较常用的:2.定位到 RunJar():获得 main-class 中的主类名:在 hadoop.tmp.dir 下创建 hadoop-unjar* 目录:将文件解压到该工作目录下:根据 java 反射机制执行 jar 包主类的 main 方法:像上面这种类加载问题可以去...原创 2019-04-18 22:13:52 · 705 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(目录) Yarn工作机制
mapreduce 应用程序提交,获得 JobId:https://blog.csdn.net/qq_39327985/article/details/89389515持续更新~原创 2019-04-24 12:40:26 · 248 阅读 · 0 评论 -
Hadoop 2.7.1-Yarn 源码分析(二) Client 连接 ResourceManager
从 YARNRunner 被调度开始:传入了一个 ResourceMgrDelegate,这个类负责与 ResourceManager 沟通:首先看 createYarnClient 方法:返回的是一个 YarnClientImpl 实例接下来看 init() 方法:我们可以看到 ResourceMgrDelegate 是 AbstractService 的实现类:这个 se...原创 2019-04-19 21:44:34 · 495 阅读 · 0 评论