本文介绍了Hadoop中的YARN，包括其由来、架构、资源管理模型和调度器。YARN作为Hadoop2的资源管理平台，支持MapReduce、Spark、Flink等多种计算引擎。YARN主要管理内存和CPU，由ResourceManager和NodeManager组成，调度器包括Fair Scheduler、Capacity Scheduler和Simple Scheduler，通常使用Capacity Scheduler作为默认选择。
一、HADOOP之YARN详解
前面我们学习了Hadoop中的MapReduce，我们知道MapReduce任务是需要在YARN中执行的，那下面我们就来学习一下Hadoop中的YARN
二、YARN的由来
从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。
所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapRedcue，还可以跑Spark、Flink。
三、YARN架构分析
咱们之前部署Hadoop集群的时候也对YARN的架构有了基本的了解
YARN主要负责集群资源的管理和调度 ，支持主从架构，主节点最多可以有2个，从节点可以有多个
其中：ResourceManager：是主节点，主要负责集群资源的分配和管理
NodeManager：是从节点，主要负责当前机器资源管理
四、YARN资源管理模型
YARN主要管理内存和CPU这两种资源类型
当NodeManager节点启动的时候自动向ResourceManager注册，将当前节点上的可用CPU信息和内存信息注册上去。
这样所有的nodemanager注册完成以后，resourcemanager就知道目前集群的资源总量了。
那我们现在来看一下我这个一主两从的集群资源是什么样子的，打开yarn的8088界面
订阅专栏 解锁全文
1039
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
