hadoop2.3.0 HA 配置

环境：rehl 6.4 ，apache hadoop 2.3.0

三台主机gtx1，gtx2，gtx3 构成hadoop集群，zookeeper已经正确配置并启动

1.1修改core-site.xml配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://gtxcluster</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>gtx1:2181,gtx2:2181,gtx3:2181</value>
</property>

1.2修改hdfs-site.xml，添加如下配置：

<property>
  <name>dfs.nameservices</name>
  <value>gtxcluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.gtxcluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.gtxcluster.nn1</name>
  <value>gtx3:9009</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.gtxcluster.nn2</name>
  <value>gtx2:9009</value>
</property>
<property>
  <name>dfs.namenode.http-address.gtxcluster.nn1</name>
  <value>gtx3:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.gtxcluster.nn2</name>
  <value>gtx2:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://gtx3:8485;gtx2:8485;gtx1:8485/gtxcluster</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.gtxcluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>shell(/bin/true)</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://gtxcluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/data/hadoop/data/journal</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

2启动服务

2.1初始化zookeeper

在nn1上执行：

hdfs zkfc -formatZK

2.2在所有journalnode节点上启动journalnode

hadoop-daemon.sh start journalnode

2.3格式化nn1（如果是新集群），在nn1上执行

hadoop namenode -format 

*初始化journalnode*实测结果表明在2.3.0中此步做不做都不影响，考虑到操作完整性还是建议做

hdfs namenode -initializeSharedEdits

2.4启动nn1:在nn1节点上执行：

hadoop-daemon.sh start namenode

2.5让nn2从nn1上拉去fsimage，在nn2上执行：

hdfs namenode -bootstrapStandby

2.6启动nn2，在nn2上执行：

hadoop-daemon.sh start namenode

此时nn1和nn2都处于standby状态，因为在hdfs-site.xml中配置了dfs.ha.automatic-failover.enabled参数为true，所以不能通过手工方式切换状态，需要依赖zkfc

2.7启动所有datanode，在nn1上执行：

hadoop-daemons.sh start datanode

2.8 启动zkfc，实现HA的自动切换，启动zkfc后，先启动的nn会自动进入active状态，另一个仍保持standby状态

在nn1上和nn2上分别执行：

hadoop-daemon.sh start zkfc

3 检查集群状态和进程状态

3.1 在任意nn上执行 jps显示进程如下：

hadoop@GTX3 bin]$ jps
6496 Jps
6439 DFSZKFailoverController
5712 JournalNode
6077 NameNode
6293 DataNode
23504 QuorumPeerMain

3.2查看nn状态 

在任意nn上执行：

hdfs haadmin  -getServiceState  nn1 结果显示为active

hdfs haadmin  -getServiceState  nn2 结果显示为stanby

备注：如果没有配置自动ha，则可以通过hdfs dfsadmin -transitionToActive nnx 将其中一个nn手动切换为active状态，切换成standby状态同理，使用 -transitionToStandby参数、