Hadoop-2.4.1学习之配置管理HDFS联盟

最新推荐文章于 2023-10-03 16:28:15 发布

skyWalker_ONLY

最新推荐文章于 2023-10-03 16:28:15 发布

阅读量4.5k

点赞数 1

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 配置管理 HDFS联盟 ClusterID NameNode

本文链接：https://blog.csdn.net/skywalker_only/article/details/40047675

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了Hadoop-2.4.1版本中HDFS联盟的概念，它通过支持多个NameNode来扩展单一命名空间的限制。联盟配置管理允许集群在不修改现有配置的情况下工作，并详细阐述了如何配置NameServiceID，SecondaryNameNode，BackupNode和CheckpointerNode的相关参数。此外，还讲解了NameNode的格式化、新增和删除NameNode的步骤，以及如何通过web界面监控集群状态。

摘要由CSDN通过智能技术生成

Hadoop-1.x版本中的HDFS架构在整个集群中只允许一个命名空间，由一个NameNode管理整个命名空间，Hadoop-2.x版本中的HDFS联盟通过支持多个NameNode和命名空间解决了之前架构的局限性。HDFS联盟的配置管理是向后兼容的，允许现存的单节点NameNode配置在不需要任何修改的情况下工作正常。新的配置管理允许集群中的所有节点使用相同的配置而不需要根据节点的不同类型部署不同的配置文件。

伴随HDFS联盟还产生了称为NameServiceID的新的抽象概念，NameNode及其对应的secondary、backup、checkpointer节点都属于同一NameServiceID。为了支持上述一个配置文件的机制，NameNode及secondary、backup、checkpointer节点的配置参数以NameServiceID为后缀并增加到相同的配置文件中。

在hdfs-site.xml中，dfs.nameservices定义了用逗号分隔的不同的NameServiceID，DateNodes将使用这些信息确定集群中的NameNodes。NameNode需要根据dfs.nameservices配置下表中的参数：

dfs.namenode.rpc-address

处理所有客户端请求的RPC地址，格式为nn-host1:rpc-po

了解本专栏