Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(二)

49 篇文章 21 订阅 ¥9.90 ¥99.00
29 篇文章 18 订阅 ¥9.90 ¥99.00

      在了解了HA的特性和架构后,接下来学习如何配置管理HA,在学习与配置HA有关的参数之前,先明确部署HA所需要的主机数量。由HA的架构可知,存在两个NameNode主机,一个为现役NameNode主机,一个为待机NameNode主机,二者的硬件配置应该相同,同时还要有运行JournalNodes的主机。由于JournalNode守护进程是相对轻量级的,那么这些守护进程可与其它Hadoop守护进程,如NameNode、JobTracker或者ResourceManager,运行在相同的主机上。由于edits日志的改变必须写入大多数(一半以上)JNs,所以至少存在3个JournalNodes守护进程,这样系统能够容忍单个主机故障。当然也可以运行多于3个JournalNodes,但为了增加系统能够容忍的故障主机的数量,应该运行奇数个JNs(一个主机故障需要至少3个JNs,两个故障则需要至少2*2+1=5个JNs)。当运行N个JNs时,系统最多可以接受(N-1)/2个主机故障并能继续正常运行。

      在HA集群中,待机状态的NameNode也扮演了执行命名空间检查点的角色,因此没有必要在HA集群中再运行SecondaryNameNode、CheckpointNode或BackupNode,实际上在HA集群中运行上述进程将会出错。而这也允许在将非HA集群配置为HA时,可以重用之前SecondaryNameNode使用的主机。

      与HDFS联盟类似,HA的配置管理也是向后兼容的,允许现存的单节点NameNode不做修改而可以继续工作,同时HA集群中的所有节点可以使用相同的配置文件。HA集群重用NameServiceID来标识唯一的HDFS实例,该实例实际由多个HA Name

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值