HDFS-HA集群中客户端如何找到Active NameNode

最新推荐文章于 2023-01-22 18:50:45 发布

HAOXUAN168

最新推荐文章于 2023-01-22 18:50:45 发布

阅读量2.4k

点赞数 2

分类专栏：大数据学习文章标签：程序员

本文链接：https://blog.csdn.net/HAOXUAN168/article/details/104150030

版权

在Hadoop2.0的HDFS高可用(HA)集群中，客户端并不直接通过ZooKeeper查找Active NameNode，而是尝试配置的多个NameNode。默认顺序基于HashMap的values()方法，这在Java7和8中有不同的表现。当尝试连接到Standby NameNode失败后，客户端才会切换到另一个。为确保连接Active NN，可以自定义代理类并配置在`dfs.client.failover.proxy.provider`参数中。

摘要由CSDN通过智能技术生成

Hadoop2.0中，HDFS实现了HA，具体实现及原理请网上搜索。其中HDFS的配置包含以下几个必须参数：

<property>
<name>dfs.nameservices</name>
<value>cdh5</value>
<description>指定HDFS的命名服务，一般和fs.defaultFS中的authority一致。</description>
</property>

<property>
<name>dfs.ha.namenodes.cdh5</name>
<value>nn1,nn2</value>
<description>指定HDFS集群中的NameNode（ID）。</description>
</property>

<property>
<name>dfs.namenode.rpc-address.cdh5.nn1</name>
<value>hadoop10:9000</value>
<description>第一个NameNode ID对应的host和端口号</description>
</property>

<property>
<name>dfs.namenode.rpc-address.cdh5.nn2</name>
<value>hadoop20:9000</value>
<description>第二个N