Hadoop YARN单点故障解决方案（HA）介绍

最新推荐文章于 2023-09-28 15:03:51 发布

weixin_33978016

最新推荐文章于 2023-09-28 15:03:51 发布

阅读量675

点赞数

文章标签：大数据 python jira

原文链接：https://my.oschina.net/u/1169079/blog/263699

版权

本文介绍了Apache Hadoop 2.2.0中YARN存在的单点故障问题及其在Cloudera CDH5-beta中的HA实现。YARN HA采用主备切换方式，借助Zookeeper进行状态共享，但目前的实现仍是粗粒度，可能导致任务重算或重启。文章探讨了YARN在资源管理和容错性方面的需求，并指出其HA解决方案仍有待完善以适应不同应用场景。

摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>>

在Apache Hadoop 2.0的第一个稳定版本2.2.0中，资源管理系统YARN存在单点故障，且尚未解决。YARN ResourceManage HA的相关jira为YARN-149，目前正在火热开发中，但尚未公布将来的发布版本。由于YARN是一个通用管理系统，是上层计算框架（MapReduce、Tez、Spark、Storm等）的基础服务，它的重要性不言而喻，提高它的可靠性和容错性是当务之急。

在Cloudera公司最新发布的CDH5（基于apache hadoop 2.2.0下载地址为：CDH5-beta-1下载）中，自带了YARN HA实现࿰