![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 67
wujun8
这个作者很懒,什么都没留下…
展开
-
yarn fair scheduler 之公平排序算法
这篇文章主要分析公平调度器的公平排序算法,基于hadoop-2.3.0-cdh5.0.0首先,了解这几个概念:资源需求量:当前队列或者应用希望获得的资源的总量。最小份额:队列的最小共享量在配置中指定。应用的最小共享量为0。资源使用量:当前队列或者应用已经分配到的总资源。权值:队列的权重值在配置中指定。在开启size原创 2014-06-19 10:50:55 · 4175 阅读 · 0 评论 -
Apache Hadoop YARN – ResourceManager
原文地址:翻译 2014-06-25 11:09:43 · 6597 阅读 · 0 评论 -
YARN 早就支持CPU资源的调度了
首先,yarn刚出世的时候,对于CPU的调度只是在原创 2014-07-04 11:11:19 · 1784 阅读 · 0 评论 -
yarn fair scheduler 之公平份额算法和抢占模型
公平份额算法这个算法是保证资源抢占的公平。计算公平份额的过程是站在整个集群资源使用的角度,假设每个队列获得一部分资源,使得资源使用量总和逼近集群分配总资源,这时有一个资源权值比,每个队列的公平份额=资源权值比 * 权值。公平份额算法是先计算出一个资源权值比的最大值,使得资源使用量总和正好超过集群分配总资源,然后利用二分查找法在0到这个最大资源权值比之间确定一个资源权值比,使得资源使用量总和原创 2014-06-19 16:21:59 · 3228 阅读 · 0 评论 -
yarn fair scheduler 之概述
所有的调度器都是基于事件模型,需要处理的一个重要事件是nodeUpdate,处理各个节点的心跳。对于公平调度器,在处理某一Node心跳事件时,先处理刚刚启动的Container和已完成任务的Container,更新集群资源情况,并尝试在当前Node上分配资源。这时就涉及选择哪一个队列中的哪一个APP的问题,实际上是利用公平排序算法将队列排序后,再对队列内部的APP排序确定一个APP参与这一次分原创 2014-06-19 16:52:42 · 2128 阅读 · 0 评论 -
在 yarn kill 后做些什么
实现一个 Yarn Application, 如果想在被kil原创 2014-09-22 14:52:08 · 3066 阅读 · 0 评论 -
Hadoop UserGroupInformation 的那些 login
loginUserFromSubject loginUserFromKeytab getUGIFromTicketCacheugi password keytab ticket-Djava.security.krb5.conf="$APP_HOME"/_krb/krb5.confhive No groups bug原创 2014-09-24 14:26:42 · 16289 阅读 · 0 评论 -
HDFS LocalResource
在实现一个Yarn Application的过程中,免不了与原创 2014-09-16 16:04:44 · 1766 阅读 · 0 评论