Resource Manger(RM):资源调查器,负责管理客户端请求,对各NM上的资源进行统一管理和调度。组成:调度器,程序管理器。
Application ManagerAMG)应用程序管理器:负责管理整个系统中所有应用程序,包括应用程序提交,与制度器协商资源以启动等。
Schedule:资源调度器 根据容量,队列等限制条件,将系统中的资源分配给各个正在运行的应用程序,调度器仅根据各个应用程序的资源需求进行资源分配。而资源分配的单位是container.
Container:容器 是yarn中的资源抽象,它封装了某节点上的多维度资源,当AMR向Resource Manager申请资源时,Resource Manager为AMR返回的资源用Container表示。
流程分析:
1.像整个集群提交job
2.RM收到后,返回HDFS路径
3.提交如下资源到HDFS
4.客户端向RM发送执行作业请求
5.把job加入到Schedule队列中
6.返回NM
7.开辟Container,启动AMR
8.从HDFS中获取文件,根据切片信息制成Task
9.AMR向AMG注册
10.申请资源
11.以Container的形式返回
12.请求指定NM分配资源
13.启动Container