4.1 YARN架构概述
- ResourceManager(RM):
- 处理客户端请求
- 监控NodeManager
- 启动或者监控ApplicationMaster
- 资源分配和调度
- NodeManager(NM):
- 管理单个阶段上的资源
- 处理来自ResourceManager的命令
- 处理来着ApplicationMaster的命令
- ApplicationMaster(AM):
- 负责数据的切分
- 为应用程序申请资源并分配给内部任务
- 任务的监控和容错
- Container(AM):
- Yarn资源的抽象,内存,CPU,磁盘,网络等
4.2 Map架构概述
- Map阶段:并行处理输入数据
- Reduce阶段:对Map结果进行汇总