hadoop2之YARN

YARN资源管理系统
产生背景：
1.源于MRV1的几个缺陷
单点故障、扩展性受限、难以支持MR以外的计算
2.多种计算框架各自为战，难以数据共享
MR离线计算框架、Storm实时/流式计算框架、Spart内存计算框架
基本架构
1.ResourceManager (整个集群只有一个，负责集群资源的统一管理与调度)
处理客户端请求、启动/监控ApplicationMaster、监控NodeMager、资源分配与调度
2.NodeManager（整个集群有多个， 负责单节点资源管理与使用）
单个节点上资源管理、处理来自RM与ApplicatoinMaster的命令
//容错：失败后RM将失败任务告诉对应的AM，AM决定如何处理失败的任务
RM将资源分配给AM,AM将资源进一步分配给各个Task

3.ApplicationMaster（每个应用程序有一个，负责应用程序的管理）
数据切分、为应用程序申请资源、并分配给内部任务、任务监控与容错
//容错：失败后,由RM负责重启;AM需处理内部任务的容错问题;RMAppMaster会保存已经运行完成的Task,重启后无需重新运行