一、Yarn基本结构
Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布式集群资源调度框架Yarn。Yarn并不是在Hadoop初期就有的,是在Hadoop升级发展才诞生的,典型的Master-Slave架构。
Yarn包括两个主要进程:资源管理器Resource-Manager,节点管理器Node-Manager。
资源管理器
- 通常部署在独立的服务器,处理客户端请求;
- 处理集群中的资源分配和调度管理;
节点管理器
- 管理当前节点上的资源;
- 执行处理各种具体的命令;
- 监视节点资源情况,并上报资源管理器;
ApplicationMaster
- 提供容错能力,切割数据;
- 给应用程序申请资源并分配任务;
Con