![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 92
fs20041242
这个作者很懒,什么都没留下…
展开
-
(转)【Hadoop代码笔记】Hadoop作业提交之客户端作业提交
1. 概要描述仅仅描述向Hadoop提交作业的第一步,即调用Jobclient的submitJob方法,向Hadoop提交作业。 2. 详细描述Jobclient使用内置的JobSubmissionProtocol 实例jobSubmitClient 和JobTracker交互,最主要是提交作业、获取作业执行信息等。 在JobClient中作业提交的主要过程如下: 1...原创 2014-03-14 15:10:29 · 131 阅读 · 0 评论 -
(转)【Hadoop代码笔记】通过JobClient对Jobtracker的调用详细了解Hadoop RPC
Hadoop的各个服务间,客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多,也不难理解,这里不做背景介绍。只是尝试从Jobclient向JobTracker提交作业这个最简单的客户端服务器交互的代码中,去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文,试图通过一种具体的场景来介绍,属于比较初级。其他DataNode和Namenode之间,Tasktracke...原创 2014-03-14 15:12:23 · 367 阅读 · 0 评论 -
(转)【hadoop代码笔记】Hadoop作业提交中EagerTaskInitializationListener的作用
在整理FairScheduler实现的task调度逻辑时,注意到EagerTaskInitializationListener类。差不多应该是job提交相关的逻辑代码中最简单清楚的一个了。 todo:标红文字表示要加前向链接,待相关文字草稿提交后。 一、概述 继承自JobInProgressListener,实现了jobAdded,jobRemoved,jobUpdated方法。...原创 2014-03-14 15:26:15 · 152 阅读 · 0 评论 -
(转)【Hadoop代码笔记】Hadoop作业提交之JobTracker等相关功能模块初始化
一、概要描述 本文重点描述在JobTracker一端接收作业、调度作业等几个模块的初始化工作。想过模块的介绍会在其他文章中比较详细的描述。受理作业提交在下一篇文章中会进行描述。 为了表达的尽可能清晰一点只是摘录出影响逻辑流转的主要代码。重点强调直接的协作调用,每个内部完成的逻辑(一直可以更细的说明、有些细节可能自己也理解并不深刻:-()在后续会描述。 主要包括JobTracker...原创 2014-03-14 15:27:10 · 190 阅读 · 0 评论 -
(转)【Hadoop代码笔记】Hadoop作业提交之JobTracker接收作业提交
一、概要描述 在上一篇博文中主要描述了JobTracker接收作业的几个服务(或功能)模块的初始化过程。本节将介绍这些服务(或功能)是如何接收到提交的job。本来作业的初始化也可以在本节内描述,但是涉及到JobInProgress的初始化过程放在一张图上太拥挤,就分开到下一篇文章中描述。 二、 流程描述 1. JobClient通过RPC的方式向JobTracker提交...原创 2014-03-14 15:27:55 · 224 阅读 · 0 评论