集群高可用
HDFS单节点架构存在的问题
HDFS单点架构存在一些问题,首先是NameNode内存受限,因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大,可能会将NameNode内存占满,这种情况下会导致HDFS的扩展性上限。
其次就是单点故障问题,主从架构的HDFS是依靠主节点NameNode来运转的,一旦主节点挂掉就会导致整个集群不可用。
Federation(联邦)机制
联邦机制是Hadoop 2.x中提出的解决NameNode内存瓶颈问题的水平横向扩展方案。
它将多台NameNode组成联邦,每一台NameNode负责存储一部分元数据信息,共同负责HDFS的正常运行。
联邦机制解决了NameNode单点的内存限制,提升了HDFS的扩展性能。
NameNode High Availability(高可用)机制
NameNode High Availability高可用机制是Hadoop 2.x中提出的,用于解决NameNode单节点故障问题的方案。实现高可用,至少提供两台NameNode做热备:Active、Standby