1.3.4.2自动Hadoop-HA（高性能模式）搭建

总目录：https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.csdn.net/qq_41106844/article/details/105553369

 

前言

本文基于已经完成完全分布式配置的集群进行。

1.环境变量配置

2.ssh免密

3.java环境配置

4.其他常规配置（网络，时间同步，防火墙等等）

看之前文章。

参数列表

hadoop01:192.168.110.220:NN1,ZKFC,ZK,JNN

hadoop02:192.168.110.221:NN2,DN,JNN,ZKFC,ZK

hadoop03:192.168.110.222:DN,JNN,ZK

hadoop04:192.168.110.223:DN,JNN,ZKFC

zookeeper安装

https://www.jianshu.com/p/5b195fb27b86

核心文件配置

core-site.xml

<configuration>

<!--设置fs.defaultFS为Nameservices的逻辑主机名 -->

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://myha</value>

  </property>

  <!--设置数据存放目录 -->

  <property>

      <name>hadoop.tmp.dir</name>

      <value>/usr/hdk/hadoopdata/tmp</value>

  </property>

  <!--设置Zookeeper位置信息 -->

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

  </property>

</configuration>

hdfs-site.xml

<configuration>

<!--定义NameServices逻辑名称，此处为myha -->

  <property>

      <name>dfs.nameservices</name>

      <value>myha</value>

  </property>

<!--映射nameservices逻辑名称到namnode逻辑名称 -->

  <property>

      <name>dfs.ha.namenodes.myha</name>

      <value>nn1,nn2</value>

  </property>

<!--映射namenode逻辑名称到真实主机名称（RPC） -->

  <property>

      <name>dfs.namenode.rpc-address.myha.nn1</name>

      <value>hadoop01:8020</value>

  </property>

<!--映射namenode逻辑名称到真实主机名称（RPC） -->

  <property>

     <name>dfs.namenode.rpc-address.myha.nn2</name>

     <value>hadoop02:8020</value>

  </property>

<!--映射namenode逻辑名称到真实主机名称（HTTP） -->

  <property>

     <name>dfs.namenode.http-address.myha.nn1</name>

     <value>hadoop01:50070</value>

  </property>

<!--映射namenode逻辑名称到真实主机名称（HTTP） -->

  <property>

     <name>dfs.namenode.http-address.myha.nn2</name>

     <value>hadoop02:50070</value>

  </property>

<!--配置JN集群位置信息及目录 -->

  <property>

     <name>dfs.namenode.shared.edits.dir</name>

     <value>qjournal://hadoop02:8485;hadoop03:8485;hadoop04:8485/myha</value>

  </property>

<!--配置故障迁移实现类 -->

  <property>

     <name>dfs.client.failover.proxy.provider.lyx</name>

     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  </property>

<!--指定切换方式为SSH免密钥方式 -->

  <property>

     <name>dfs.ha.fencing.methods</name>

     <value>sshfence</value>

  </property>

  <property>

     <name>dfs.ha.fencing.ssh.private-key-files</name>

     <value>/root/.ssh/id_rsa</value>

  </property>

<!--设置自动切换 -->

  <property>

     <name>dfs.ha.automatic-failover.enabled</name>

     <value>true</value>

  </property>

<!--配置journalnode edits文件位置 -->

  <property>

     <name>dfs.journalnode.edits.dir</name>

     <value>/usr/hdk/hadoopdata/data</value>

  </property>

  <property>

     <name>dfs.webhdfs.enabled</name>

     <value>true</value>

  </property>

  <property>

     <name>dfs.permissions.superusergroup</name>

     <value>staff</value>

  </property>

  <property>

     <name>dfs.permissions.enabled</name>

     <value>false</value>

  </property>

</configuration>

hadoop-env.sh

……

# The java implementation to use.

export JAVA_HOME=/usr/hdk/jdk

……

slaves

hadoop02

hadoop03

hadoop04

 

第一次启动

启动zookeeper集群

zkServer.sh start

和core-site.xml配置信息中

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

  </property>

这几个节点启动zookeeper

 

启动journalnode

hadoop-daemons.sh start journalnode

四台都执行

 

启动NameNode

在hadoop01上

格式化NameNode

hdfs namenode -format

格式化ZKFC

hdfs zkfc -formatZK

（以上操作仅在第一次配置进行一次，之后不要进行）

启动NameNode

hadoop-daemon.sh start namenode

 

在hadoop02上

同步hadoop01上的信息

hdfs namenode -bootstrapStandby

启动NameNode

hadoop-daemon.sh start namenode

 

启动zkfc

hadoop-daemon.sh start zkfc

在你计划启动zkfc的节点启动

 

启动hdfs

在hadoop01执行

start-dfs.sh

 

之后启动

在hadoop01执行

start-dfs.sh

 

 

NameNode切换实例

先查看HDFS的web界面：

 

nn1

 

nn2

杀死hadoop01的NameNode

 

停止NameNode

这时的web界面

 

hadoop01无法访问

 

 

nn2变成active

 

之后启动hadoop01的NameNode

 

启动NameNode

 

nn1的状态变成了standby

 

nn2还是active