Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（二）

最新推荐文章于 2024-01-29 15:58:30 发布

skyWalker_ONLY

最新推荐文章于 2024-01-29 15:58:30 发布

阅读量3.6k

点赞数

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 HA JournalNodes 命名服务

本文链接：https://blog.csdn.net/skywalker_only/article/details/40078219

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了Hadoop-2.4.1的High Availability（HA）特性，特别是使用Quorum Journal Manager的HDFS HA配置。文中详细讲解了HA集群的主机数量需求，JournalNodes的作用，以及配置参数如dfs.nameservices、dfs.ha.namenodes、dfs.namenode.rpc-address、dfs.namenode.http-address、dfs.namenode.shared.edits.dir和fs.defaultFS等的重要性。此外，还强调了在HA环境中不再需要SecondaryNameNode，并提供了配置示例。

摘要由CSDN通过智能技术生成

在了解了HA的特性和架构后，接下来学习如何配置管理HA，在学习与配置HA有关的参数之前，先明确部署HA所需要的主机数量。由HA的架构可知，存在两个NameNode主机，一个为现役NameNode主机，一个为待机NameNode主机，二者的硬件配置应该相同，同时还要有运行JournalNodes的主机。由于JournalNode守护进程是相对轻量级的，那么这些守护进程可与其它Hadoop守护进程，如NameNode、JobTracker或者ResourceManager，运行在相同的主机上。由于edits日志的改变必须写入大多数（一半以上）JNs，所以至少存在3个JournalNodes守护进程，这样系统能够容忍单个主机故障。当然也可以运行多于3个JournalNodes，但为了增加系统能够容忍的故障主机的数量，应该运行奇数个JNs（一个主机故障需要至少3个JNs，两个故障则需要至少2*2+1=5个JNs）。当运行N个JNs时，系统最多可以接受（N-1）/2个主机故障并能继续正常运行。

在HA集群中，待机状态的NameNode也扮演了执行命名空间检查点的角色，因此没有必要在HA集群中再运行SecondaryNameNode、CheckpointNode或BackupNode，实际上在HA集群中运行上述进程将会出错。而这也允许在将非HA集群配置为HA时

了解本专栏