YARN是Hadoop的资源管理系统，由ResourceManager、ApplicationMaster、NodeManager和Container组成。ResourceManager通过Scheduler和ApplicationsManager管理集群资源，ApplicationMaster与NodeManager协作执行任务。Container作为资源抽象，封装了节点上的内存和CPU等资源。Job运行流程包括提交Job、调度资源、启动Task、监控进度直至Job完成。YARN允许灵活的资源分配，优化了集群资源利用率。
YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN通用资源管理框架组成部分：
1，ResourceManager（RM）：由Scheduler（资源调度器）和ApplicationsManager（ASM：应用管理器）2个组件组成。RM和每个NodeManager (NM)构成一个资源估算框架，管理协调分配集群中的资源，对集群中所有的资源拥有最终最高级别的仲裁权。
Scheduler：资源调度器主要负责将集群中的资源分配。Yarn默认实现了如下资源调度器：
ApplicationsManager：应用管理器主要负责接收应用程序，协商获取第一个Container用于执行AM，并且在AM Container失败后，提供重启服务。
2，ApplicationMaster（AM）：主要
最低0.47元/天 解锁文章
扫一扫
821
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
