本文介绍了Hadoop集群为解决单点故障和扩展性问题引入的HA(High Availability)和Federation机制。HA机制通过配置两个NameNode，确保在主NameNode故障时，备用NameNode能无缝接管。Federation机制则通过创建多个独立的NameNode，每个管理一部分DataNode，实现了集群的水平扩展。HA的实现包括NFS和QJM两种方式，Federation则允许DataNode向所有NameNode报告状态。这两种机制分别解决了不同的问题，提升了Hadoop集群的稳定性和效率。
为了解决hadoop集群上所谓的“单点”和单NameNode起作用问题，一群NB的程序员引入了HA和Federation机制。
一、HA机制
1、概念
由于原先的集群中只有一个NameNode，所以一旦这个NameNode出问题或者要升级，整个集群就得停止一段时间。于此，就有了HA机制。
说白了所谓的HA机制就是给NameNode弄了一个热备：给一个HA集群中配置了俩NameNode，平时只有一个活动，另一个装死（类似Slave），一旦正主不行了，备胎瞬间逆袭接管所有任务。当然，这都是开玩笑的说法。但要明白的一点是，备胎也不能自动逆袭，需要手动操作。
2、运行原理
DataNode同时向两个NameNode和Standby NameNode发送心跳信息，备用节点实时监听NameNode的信息，这边一更改，备用节点就把修改内容同步到自己的名字空间（这点与传统的Secondary
最低0.47元/天 解锁文章
扫一扫
4443
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
