超级会员免费看
YARN作为Hadoop的资源调度平台，由ResourceManager、NodeManager和Container组成。ResourceManager的调度器包括FIFO、Capacity Scheduler和Fair Scheduler，分别有不同的调度策略，如先进先出、容量保证和公平分配。NodeManager则是资源的实际提供者，监控并汇报应用程序的资源使用。作业提交流程涉及应用程序管理器和调度器的交互，确保资源有效利用。
YARN（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行在操作系统之上的应用程序。
ResourceManager负责协调和管理整个集群资源，相应用户提交的不同类型应用程序的解析、调度、监控等工作。有两个组件构成：调度器(Scheduler)和应用程序管理器(Applications Master)。
NodeManager是YARN集群中真正资源的提供者，是真正执行应用程序容器的提供者，监控应用程序的资源使用情况，并通过心跳向几圈资源调度器ResourceManager进行汇报。
Container是一个抽象出来的逻辑资源单位。它封装了一个节点上的CPU、内存、磁盘和网络等信息，MapReduce程序的所有Task都是一个容器里执行完成的，容器大小可以动态调整。
调度器
1.FIFO
订阅专栏 解锁全文
扫一扫
376
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
