为了解决hadoop集群上所谓的“单点”和单NameNode起作用问题,一群NB的程序员引入了HA和Federation机制。
一、HA机制
1、概念
由于原先的集群中只有一个NameNode,所以一旦这个NameNode出问题或者要升级,整个集群就得停止一段时间。于此,就有了HA机制。
说白了所谓的HA机制就是给NameNode弄了一个热备:给一个HA集群中配置了俩NameNode,平时只有一个活动,另一个装死(类似Slave),一旦正主不行了,备胎瞬间逆袭接管所有任务。当然,这都是开玩笑的说法。但要明白的一点是,备胎也不能自动逆袭,需要手动操作。
2、运行原理
DataNode同时向两个NameNode和Standby NameNode发送心跳信息,备用节点实时监听NameNode的信息,这边一更改,备用节点就把修改内容同步到自己的名字空间(这点与传统的Secondary