HDFS~Yarn技术介绍

一、概念

1.Yarn

分布式资源管理和调度系统，主从架构，一主多从

2.资源管理

资源指的是各节点机器上的计算资源，包括CPU、内存等,资源管理就是管理这些资源的分配

3.调度

调度指的是安排计算程序如何执行，比如资源不足时是等待其他程序完成再执行，还是允许并发执行。

4.ResourceManager

Yarn的主节点，简称RM

5.NodeManager

Yarn的子节点，简称NM

6.Job

通常把一个程序叫做一个Job(作业)

7.Task

一个作业包含多个Task(任务)

8.Container

在每个节点上的资源又划分出Container(容器)，然后在容器级别对资源进行管理，作业的一个任务运行在一个Container中

9.ApplicationMaster

• 管理进程(ApplicationMaster)，负责执行作业的流程和调度作业的任务。- ApplicationMaster负责周期性的向ResourceManager发出请求为任务获取资源，之后任务在其资源节点上被启动。
• 任务执行过程中周期性的向Application汇报自己的状态，如果作业之间有依赖关系，ApplicationMaster也会维护这个关系。
• 如果某个任务出错，ApplicationMaster还可以帮助任务换一个节点重新启动。
• 任务执行完后输出结果的汇集也由ApplicationMaster完成。