Yarn集群资源规划

最新推荐文章于 2023-02-24 11:10:05 发布

kwu_ganymede

最新推荐文章于 2023-02-24 11:10:05 发布

阅读量1.7k

点赞数 1

分类专栏： Hadoop 文章标签：内存 cpu 集群

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49911731

版权

本文探讨了Yarn集群中的资源规划，重点关注CPU和内存的配置。介绍了不同组别（如default, bidw, dam, common）的资源配置，并讲解了如何在namenode节点设置用户与组的关系，确保权限与资源组匹配。此外，还提到了通过hvie shell命令进行临时配置的方法。" 116985569,10325603,C语言编程：打印各种金字塔和图案,"['C语言', '图形绘制', '编程示例', '算法']

摘要由CSDN通过智能技术生成

一、 Yarn资源调度策略

1、hadoop1.x采用的资源调度器
（1）默认的调度器FIFO
Hadoop中默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。

（2）计算能力调度器Capacity Scheduler
支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制
。
（3）公平调度器Fair Scheduler
同计算能力调度器类似，支持多队列多用户，每个队列中的资源量可以配置，同一队列中的作业公平共享队列中所有资源，
公平调度器是由facebook贡献的，适合于多用户共享集群的环境的调度器，其吞吐率高于FIFO。Fair Scheduler新增在Hadoop版本是0.20.2，并在新版本（0.21.0）中，公平调度算法已经有了改进与增强。
公平调度器按资源池（pool）来组织作业，并把资源公平的分到这些资源池里。默认情况下，每一个用户拥有一个独立的资源池，以使每个用户都能获得一份等同的集群资源而不管他们提交了多少作业。按用户的 Unix 群组或作业配置&