HA
文章平均质量分 72
夏至1208
这个作者很懒,什么都没留下…
展开
-
HDFS HA架构设计
概述 我们知道,hdfs是一个分布式存储结构,里面有namenode和datanode节点。在生产中,如果namenode只有一个,会有单点故障的问题,当namenode挂掉,整个hdfs就无法向外服务。为解决这个问题,一般采用HA(high availability) 高可用架构,即部署两台namenode,那么当一台namenode挂掉后,另一台可立即成为active状态向外提供服务。 架...原创 2018-11-26 11:14:23 · 410 阅读 · 0 评论 -
Hadoop HA高可用集群搭建测试
摘要 在Hadoop2.0之前,只有一个NameNode,若NameNode机器出现故障,那么整个集群都无法使用。这个架构存在单点故障的隐患。之后推出了HA的架构,即有两个NameNode,一台为active状态,一台为standby状态。active NameNode对外提供服务,standby实时同步了active NameNode的元数据,当active NameNode节点出现故障,s...原创 2018-11-29 11:02:20 · 1886 阅读 · 0 评论 -
Yarn HA高可用架构
摘要 yarn在hadoop大数据生态圈中,是一个资源管理调度的角色。在伪分布式架构中,ResourceManager只有一个,这样容易产生单点故障问题。在生产中,一般会部署HA的高可用架构。这样,在active RM挂掉后,standby RM会切换为active状态,并对外提供服务。 架构设计 yarn HA架构如图所示: RM: 在ZooKeeper上会有一个/yarn-l...原创 2018-11-26 15:17:21 · 674 阅读 · 0 评论