1.Hadoop系统架构
1.1 Hadoop1.X 和 Hadoop2.X架构
在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的,Hadoop1.X之前,其官方架构如下图:
从上图可以看出,1.X版本之前只有一个NameNode,所有元数据由唯一的NameNode负责管理,可想而知当这个NameNode宕机时整个集群基本也就GG了。
Hadoop2.X的架构与1.X有什么区别呢?
我们来看一下2.X的架构:
上图为2.X版本,在2.X版本中,HDFS架构解决了单点故障问题,即引入NameNode架构,同时借助共享存储系统来进行元数据的同步,共享存储系统类型一般有这几类:Shared NAS+NFS、BookKeeper、BackupNode和Quorum Journal Manager(QJM),上图中用的是QJM作为共享存储组件,通过搭建奇数节点的JournalNode实现主备NameNode元数据操作信息同步。
那么Hadoop的元数据包括哪些信息呢,下面介绍关于元数据方面的知识。