HDFS HA 之 Quorum Journal Manager

本文详细介绍了HDFS的高可用性(HA)发展历程,重点讲解了Quorum Journal Manager(QJM)在HA中的作用。QJM通过Quorum机制确保编辑日志的分布式一致性,支持Active和Standby Namenode之间的数据同步。文中还讨论了Paxos原理、多Standby Namenodes的引入,以及QJM的Edit共享存储系统和数据恢复流程。
摘要由CSDN通过智能技术生成

1、HA的发展历程

1.1 Secondary namenode

通过Secondary namenode 作为备节点,然后冷备namenode数据,为Namenode分担部分压力,主要执行Checkpoint工作。在这种架构体系下,Namenode以单点的形式运行,一旦系统集群出现故障,可用性是致命的,目前基本不使用了。

1.2 QJM

在HA Using QJM方案中,涉及的核心部分包括:

  • Active Namenode:对外提供在线读写服务,并将Client请求过来的更新操作通过Edit Log的形式持久化至共享存储系统(QJM)。此外,还为Standby Namenode即时同步数据提供支持。
  • Standby Namenode:与Active Namenode相互形成热备,并及时从QJM中拉取Edit Log数据更新内存,以便尽可能和Active Namenode维护的数据保持一致。
  • JournalNode Cluster(JournalNodes):Active Namenode与Standby Namenode之间共享Edit Log的一致性存储系统,在HA体系架构中具有重要作用。借助JournalNode集群,Active和S
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Studying!!!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值