YARN框架的认知

YARN概念:是hadoop的资源管理和任务调度的分布式框架

主节点ResourceManager:

• 管理整个集群的资源(CPU和内存)
• 接收Client提交的应用

从节点NodeManager：

• 每个节点的资源管理(CPU和内存)

运行在YARN集群上的每个应用，YARN会为之启动对应的应用管理者ApplicationMaster,用于管理这个应用的运行情况

• 应用中Task资源申请
• 监控Task运行状况
• Task运行失败需要进行调度和处理

YARN服务功能

ResourceManager,简称RM

• 处理客户端请求
• 启动并监控ApplicationMaster
• 监控NodeManager
• 资源分配与调度

ApplicationMaster，简称AM

• 数据切分
• 为应用程序申请资源并分配内部任务
• 任务监控与容错

NodeManager

• 单个节点的资源管理
• 处理来自RM的命令
• 处理来自AM的命令

Container

• 任务运行环境容器：封装了CPU、内存等多维资源、环境变量、启动命令等任务运行相关的信息