YARN 高可用机制

YARN 的高可用：
ResourceManager : 基于Zookeeper 实现高可用机制，避免单点故障。

NodeManager: 执行失败之后，ResourceManager 将失败任务告诉对应的ApplicationMaster , 由ApplicationMaster 来决定如何处理失败的任务。

ApplicationMaster: 执行失败之后，由ResourceManager 负责重启；ApplicationMaster 需处理内部的容错问题，并保存已经运行完成的Task , 重启后无需重新运行。

作为通用的、统一的资源管理系统，YARN可以：
1、同时运行长应用程序（比如Service, HTTP Server）
2、运行短应用程序（MapReduce job、Spark job 等等）

在引入了YARN之后，可以在YARN上运行各种不同框架的作业：
离线计算框架：MapReduce
流式计算框架：Storm
内存计算框架：Spark

YARN 生态圈：

 

参考资料：大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍  http://blog.51cto.com/gridmix/1731744

 

转载于:https://www.cnblogs.com/wbringarden/p/10250935.html