hadoop HA的安装配置

前提

已经安装了hadoop分布式集群。

修改配置文件

/etc/hadoop/hdfs-site.xml

增加以下的配置内容：

<!--配置集群的id-->
 <property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

<!--配置NameNode的标识符-->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2, nn3</value>
</property>

<!--配置三个NameNode所在节点与访问端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>dataone:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn3</name>
  <value>datatwo:8020</value>
</property>

<!--配置三个NameNode的web页面访问地址-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>dataone:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn3</name>
  <value>datatwo:50070</value>
</property>

<!--设置一组JournalNode的URI地址-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;dataone:8485;datatwo:8485/mycluster</value>
</property>

<!--JournalNode用于存放元数据和状态信息的目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/soft/hadoop-3.2.1/Data/jn</value>
</property>


<!--配置客户端与NameNode通信的java类-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--解决脑裂-->
<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
</property>

<property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
</property>

注意点：

---------------------------------分割线---------------------------

---------------------------------分割线---------------------------

/etc/hadoop/core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

分发文件

将修改好的文件，分发集群上的其他机器上

# 具体的文件位置根据自己的实际情况
scp ./etc/hadoop/hdfs-site.xml dataone:/soft/hadoop-3.2.1/etc/hadoop/

启动JounalNode

在hadoop的安装目录下

sbin/hadoop-daemon.sh -format

注意：集群上的所有机器都要启动

格式化NameNode

在其中的一台机器的hadoop安装目录下。注意：只需要格式化一台。执行以下命令

sbin/hdfs namenode -format

输出以下内容即成功：

启动namenode

在格式化的主机启动namenode，同样在hadoop的安装目录下

sbin/hadoop-daemon.sh start namenode

复制NameNode上的元数据

在没有格式化的其他配置NameNode主机上执行下面命令：（在hadoop的安装目录上，即相当于格式化了NameNode）

bin/hdfs namenode -bootstrapStandby

操作完以上命令之后，就可以其他其他主机上namenode的。启动之后，打开网页hostname（自己的主机名）：50070，可以出现以面界面

为了防止脑裂，所以所有的NameNode都是Standby模式

将Standby启动为active

bin/hdfs haadmin -transitionToActive nn1

写在最后

至此，Hadoop模式的HA已经搭建完成，但是此时active状态的NameNode出现故障时，并不会自己有其他Standby的NameNode会自动替代，需要自己手动进行设置。如果需要自动转移，需要配置zookeeper