Hadoop之系统架构及HA机制

本文详细介绍了Hadoop从1.X到2.X的架构变化,特别是2.X版本引入的NameNode HA机制,包括元数据的管理,如内存镜像、磁盘镜像和日志文件。此外,还探讨了Hadoop-HA的运作机制,特别是通过双NameNode和共享存储系统(如QJM)来消除单点故障。
摘要由CSDN通过智能技术生成

1.Hadoop系统架构

1.1 Hadoop1.X 和 Hadoop2.X架构

在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的,Hadoop1.X之前,其官方架构如下图:
在这里插入图片描述
从上图可以看出,1.X版本之前只有一个NameNode,所有元数据由唯一的NameNode负责管理,可想而知当这个NameNode宕机时整个集群基本也就GG了。
Hadoop2.X的架构与1.X有什么区别呢?
我们来看一下2.X的架构:
在这里插入图片描述
上图为2.X版本,在2.X版本中,HDFS架构解决了单点故障问题,即引入NameNode架构,同时借助共享存储系统来进行元数据的同步,共享存储系统类型一般有这几类:Shared NAS+NFS、BookKeeper、BackupNode和Quorum Journal Manager(QJM),上图中用的是QJM作为共享存储组件,通过搭建奇数节点的JournalNode实现主备NameNode元数据操作信息同步。
那么Hadoop的元数据包括哪些信息呢,下面介绍关于元数据方面的知识。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值