分布式资源调度框架YARN
YARN概述
YARN是hadoop2.X版本引入的集群资源管理系统
YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离
- 通用的资源管理系统,可为不同的应用(MapReduce、Spark、Flink等)提供统一的资源管理和调度
- 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处
YARN的基本架构核心组件
- YARN的架构是master/slaves的主从架构
- master:ResourceManager–>全局资源管理
负责集群全局统一的资源管理、调度、分配 - slave:NodeManager–>节点资源管理器
启动了NodeManager进程的节点
负责管理节点的资源及使用情况
- YARN核心组件(包含ResourceManager和NodeManager)
ApplicationMaster
Container
YARN架构核心组件-ResouceManager
- ResourceManager组成
- ResourceScheduler–>资源调度器,根据节点的容量、队列情况,为应用程序分配资源
- Application Manager–>应用程序管理器,负责接受Client端传输的job请求
- ResourceManager功能
- 处理客户端请求 <