- 1 YARN概述
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
- 2 YARN基础架构
- ResouceManager(RM)的主要作用如下
- 资源的分配和调度
- 启动和监控ApplicationMaster
- 监控NodeManager
- 处理客户端请求
- NodeManager(NM)的主要作用如下:
-
管理单个结点的资源
-
处理来自ResourceManager的命令
-
处理来自ApplicationMaster的命令
-
-
ApplicationMaster(AM)的主要作用如下:
-
为内部应用分配资源
-
任务的监控和容错
-
-
Container的主要作用如下:
-
是Yarn中的资源的抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘和网络等,可以类比虚拟机。
-
![](https://img-blog.csdnimg.cn/20210912001736160.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5riK6aOe,size_20,color_FFFFFF,t_70,g_se,x_16)