Hadoop生态圈中的资源调度工具,莫过于yarn框架了,可以支持各种计算引擎的资源分配与调度实现。以下是关于yarn框架的具体说明分析。首先看看它的组成结构。,
1. 主节点ResourceManager:
(1)YARN 集群的主节点 ResourceManager 的职责:
1)处理客户端请求
2)启动或监控 MRAppMaster
3)监控 NodeManager
4)资源的分配与调度
(2)两个组件:
1)应用程序管理器ApplicationsManager(ASM):
负责管理所有的application----mr计算程序----wordcount程序
负责管理application的状态,分配application的运行的资源
2)调度器Scheduler:
负责每一个application任务的资源调度
负责application的调度
FIFO(单一队列调度器):FIRST IN FIRST out
先提交的任务先执行 后提交的任务后执行
FAIR(公平调度器):
第一个任务来了: 所有的资源全部跑
第二个任务来了:两个任务平均分配资源,各