作者:幻好
来源:恒生LIGHT云社区
基本概述
Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 中的资源管理和作业调度系统, 在 Hadoop 2.x 时才被引入。
用户可以将各种服务框架部署在 YARN 上,由 YARN 进行统一地管理和资源分配。
Yarn在 Hadoop2.x 时才被推出,在 Hadoop1.x 时,主要由 MapReduce 进行资源分配,由于考虑到如果 MapReduce 在计算中挂掉了,那么资源调度也将停止工作,于是在新版本中将资源调度这部分功能剥离开,才有 Yarn。
核心架构
Yarn 的主要架构分为四个部分:ResourceManager、NodeManager、ApplicationMaster、Container
ResourceManager
ResourceManager
通常在独立的部署在一台机器作为应用运行,集群中只有一个,负责整个系统的资源管理和分配。ResourceMan