![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 55
黑皮磊
这个作者很懒,什么都没留下…
展开
-
YARN的介绍与学习以及(MapReduce on yarn )
YARN 作用 :资源调度分配比 开启hdfs多两个进程 ResourceManager NodeManager 这两个进程主要的模块1.ResourceManager (RM)yarn的资源控制框架的中心模块,负责集群中的所有的资源的统一管理和分配。RM里面: 调度器 应用管理器2.调度器(ResourceScheduler)根据各个应用程序的资源需求,进行分配3.应用管理器(Applications Manager)负责监控和跟踪AM的执行状态4.原创 2022-03-25 01:59:52 · 1938 阅读 · 0 评论 -
YARN的三种调度器
理想情况下,我们应用对yarn资源的请求应该立刻被满足,但是实际上,资源有限。特别是很忙的集群。调度本身就是一大难题,很难找到完美的解决方案,所以yarn提供了三种调度器1.FIFO SchedulerFIFO = first in first out 先进先出 (队列)这种调度把应用提交按顺序排成一个队列,先进先出的队列,在进行资源分配的时候,先给队列中最头部的应用分配资源,等到应用满足了,再给下一个分配,以此类推。问题:大的应用可能会占用所有的资源,造成阻塞,不适合集群2原创 2022-03-26 03:00:20 · 3896 阅读 · 0 评论