yarn
wankunde
这个作者很懒,什么都没留下…
展开
-
Yarn中MapReduce任务提交步骤
Submit ApplicationStagejob.waitForCompletion Job.submit() final JobSubmitter submitter =getJobSubmitter(cluster.getFileSystem(), cluster.getClient());submitter.submitJobInternal(Job.原创 2014-12-05 18:43:35 · 4997 阅读 · 0 评论 -
Hadoop yarn调试
yarn调试原创 2015-08-07 11:17:23 · 3072 阅读 · 0 评论 -
yarn 资源调度问题排查
yarn schedule原创 2015-09-04 20:29:58 · 1621 阅读 · 0 评论 -
yarn 状态转换图
Yarn 状态转换图原创 2017-06-21 00:25:22 · 758 阅读 · 0 评论 -
hadoop任务运行日志
Hadoop任务运行目录原创 2016-08-26 16:32:17 · 3679 阅读 · 0 评论 -
Tez compile, deploy and test
Tez compile, deploy and test原创 2015-08-13 15:28:35 · 2429 阅读 · 0 评论 -
Yarn源码分析之事件异步分发器AsyncDispatcher
事件异步分发器AsyncDispatcher处理流程service初始化时new一个dispatcher用于事件分发dispatcher内部有一个queue用于接收和异步处理事件dispatcher register各种事件类型及事件处理类,事件处理类中有handle方法用于处理时间* EventType and HandlerResourceManager.java NodesLis原创 2017-10-20 18:39:34 · 1335 阅读 · 0 评论 -
Yarn 内部组件以及对象状态机管理
核心组件ResourceManagerNodeManagerResourceManager对象状态机管理NodeApplicationApplication AttemptContainerNodeManager对象状态机管理ApplicationContainer原创 2018-01-24 23:37:11 · 358 阅读 · 0 评论 -
【转载】Yarn 源码解析
Hadoop源码解析之ApplicationMaster启动流程YARN ApplicationMaster与ResourceManager之间基于applicationmaster_protocol.proto协议的allocate()接口源码解析Hadoop 基于protobuf 的RPC的客户端实现原理Hadoop 基于protobuf 的RPC的服务器端实现原理...转载 2018-07-27 10:01:36 · 1223 阅读 · 0 评论