一、概念
1.Yarn
分布式资源管理和调度系统,主从架构,一主多从
2.资源管理
资源指的是各节点机器上的计算资源,包括CPU、内存等,资源管理就是管理这些资源的分配
3.调度
调度指的是安排计算程序如何执行,比如资源不足时是等待其他程序完成再执行,还是允许并发执行。
4.ResourceManager
Yarn的主节点,简称RM
5.NodeManager
Yarn的子节点,简称NM
6.Job
通常把一个程序叫做一个Job(作业)
7.Task
一个作业包含多个Task(任务)
8.Container
在每个节点上的资源又划分出Container(容器),然后在容器级别对资源进行管理,作业的一个任务运行在一个Container中
9.ApplicationMaster
- 管理进程(ApplicationMaster),负责执行作业的流程和调度作业的任务。- ApplicationMaster负责周期性的向ResourceManager发出请求为任务获取资源,之后任务在其资源节点上被启动。
- 任务执行过程中周期性的向Application汇报自己的状态,如果作业之间有依赖关系,ApplicationMaster也会维护这个关系。
- 如果某个任务出错,ApplicationMaster还可以帮助任务换一个节点重新启动。
- 任务执行完后输出结果的汇集也由ApplicationMaster完成。