Hadoop HA(高可用)的运行原理

本文详细解析了Hadoop HA的高可用运行机制,包括active和standby两个NameNode的设置,以及JournalNodes在数据同步中的作用。当active NameNode发生故障时,standby NameNode能够立即接管,确保服务不间断。此外,还介绍了为解决单一NameNode元数据管理压力而引入的Federation概念,通过多个NameNode管理不同元数据来提升系统稳定性。
摘要由CSDN通过智能技术生成

运行过程的原理图解:
更多详细图解:https://www.cnblogs.com/muhongxin/p/9436765.html
在这里插入图片描述

过程:创建两个namenode,一个active,一个standby,client向代理(proxy)发出请求,proxy将请求发送给两个namenode,而且子节点DataNode向向两个namenode同时反馈。
两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了

1.如何保证hdfs的高可用性:

  • 现象:
    因为namenode只有一个,当client访问HDFS的时候,都需要找到
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值