![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 85
迷路剑客
弱小和无知不是生存的障碍,傲慢才是。
展开
-
Hadoop-Yarn学习
Yarn学习0x01 概述Yarn全名Yet Another Resource Negotiator,即资源协调/管理者,在Hadoop2中引入。1.1 Yarn是什么Yarn,英文全名是 Yet Another Resource Negotiator,是由雅虎开发的第二代集群资源调度器。查看论文点这里。Yarn在大数据体系中的示意图如下:而应用层在Application层之上,如Hi...原创 2019-05-28 23:10:46 · 1734 阅读 · 2 评论 -
Hadoop-Yarn调优
Yarn-调优0x01 概述1.1 官方文档首先给出一个Apache-Hadoop官方写的关于yarn-site.xml的配置项说明地址:yarn-default.xmlHortonworks Documentation9. Determine HDP Memory Configuration Settings1.2 内存和CPU的资源隔离方案YARN对内存资源和CPU资...原创 2019-04-30 21:44:35 · 463 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager01-基础概念
0x01 基础概念Yarn作为一款热度颇高的开源资源调度器,对他的源码分析有助于大家理解其内部执行机制。本文基于2.6.0-cdh5.8.2,仅供参考。 第一章我们先了解下Yarn的一些基本概念,读完这一章可以了解Yarn的基本的框架和流程,以便更快更好的阅读理解后面章节。1.1 Yarn是什么Yarn,英文全名是 Yet Another Resource Negotiator,...原创 2018-09-14 17:58:30 · 1610 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager08-总结
0xFD 单元测试下面说下调试的时候的一些单元测试: hadoop-2.6.0-cdh5.8.2/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/test/java/org/apache/hadoop/yarn/server/resourcemanager/sc...原创 2018-09-13 00:13:03 · 388 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager07-ShutdownHookManager
0x07 ShutdownHookManager在yarn代码中可以看到很多地方都使用了以下代码来添加自己的ShutdownHook:ShutdownHookManager.get().addShutdownHook( new CompositeServiceShutdownHook(resourceManager), SHUTDOWN_HOOK...原创 2018-09-13 00:08:17 · 493 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager06-MR任务提交-服务端分析
0x06 RM调度-MR任务提交-服务端分析上文我们提到过,Yarn中Client和RM交互的协议是ApplicationClientProtocol,我们已经分析过这一协议在客户端的实现ApplicationClientProtocolPBClientImpl,这一章节我们就从分析这一协议服务端的实现ClientRMService开始。6.1 获取JobID6.2.1 Clien...原创 2018-09-12 22:52:17 · 1183 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager05-MR任务提交-客户端侧分析
0x05 RM调度-MR任务提交-客户端侧分析5.1 mapreduce.joborg.apache.hadoop.mapreduce.Job我们都知道,MR任务的一般结尾会有一句话是job.waitForCompletion(true),这行代码意思是提交任务并等待结束。我们的分析就从这里入手:public boolean waitForCompletion(boolean ...原创 2018-09-12 22:50:50 · 930 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager04-RM调度之FairScheduler
0x04 RM调度之FairSchedulerRM对NM的调度分为心跳触发调度和持续调度,我们先从心跳调度开始讲。因为本文的主题是讲RM,这里就不讲NM启动过程了,放在另一篇文章里分析。我们直接从AsyncDispatcher讲起。4.1 AsyncDispatcherAsyncDispatcher的内部类GenericEventHandler会处理一个EventType: NODE_...原创 2018-09-12 22:47:13 · 553 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager03-RM的启动之RM详解
0x03 RM的启动之RM详解3.1 ResourceManager的继承关系3.1.1 ResourceManager第一印象我们先来看看这个类:/** * The ResourceManager is the main class that is a set of components. * "I am the ResourceManager. All your r...原创 2018-09-12 22:45:06 · 1543 阅读 · 5 评论 -
源码走读-Yarn-ResourceManager02-RM的启动-脚本
0x01 摘要Yarn作为一款热度颇高的开源资源调度器,对他的源码分析有助于理解其内部执行机制。本文基于2.6.0-cdh5.8.2,仅供参考。 0x02 RM启动过程-Shell脚本2.1 RM启动命令启动RM命令为yarn-daemon.sh start resourcemanager使用的脚本文件如下: hadoop-2.6.0-cdh5.8.2/ha...原创 2018-09-12 22:37:14 · 677 阅读 · 0 评论 -
Hadoop-Yarn-问题记录
Yarn-问题记录1如果capacity配置的容量远超队列配额会引起某些bug,这里能先优化下maxcapacity这个值嘛,尽量不要超过太多capacity值CapacityScheduler: applications could get starved because computation of #activeUsers considers pending apps已有issue...原创 2019-07-31 21:23:20 · 535 阅读 · 0 评论