CHD4B1（hadoop-0.23）实现NameNode HA安装配置

关注hadoop社区发展情况，下步会找时间专门坐下测试。

先转个帖子：

原文:http://www.cnblogs.com/MGGOON/archive/2012/03/14/2396481.html

CHD4B1（hadoop-0.23）实现NameNode HA安装配置

    Cloudera CHD4B1版本已经包含了NameNode HA，社区也把NameNode HA branch HDFS-1623 merge到trunk版本，可以实现了双NameNode的热备份，不过目前只支持手动切换，还不支持自动切换，社区中自动切换进度请看：https://issues.apache.org/jira/browse/HDFS-3042

NameNode HA（CHD4B1版本） 文档：

https://ccp.cloudera.com/display/CDH4B1/CDH4+Beta+1+High+Availability+Guide

下面以CHD4B1版本来说明一下如何安装配置双NameNode HA：

1.首先安装java、配置ssh，这部分和之前版本相同，这里就省略了。

2.下载和解压CDH4B1

下载：https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs

解压：tar –zxvf hadoop-0.23.0-cdh4b1.tar.gz

3.设置环境变量：

在hadoop-cdh4b1/libexec目录下hadoop-config.sh配置文件中配置JAVA_HOME，红色部分：

# Attempt to set JAVA_HOME if it is not set

export JAVA_HOME=/home/liuminggang.pt/java_current

if [[ -z $JAVA_HOME ]]; then

4.添加hadoop配置文件中的配置项：

（配置文件直接在hadoop-cdh4b1/etc/hadoop目录下配置），我这里总共用了5台机器：

10.250.8.106   NameNode

10.250.8.107   NameNode

10.250.8.108   DataNode

10.250.8.109   DataNode

10.250.8.110   DataNode

4.1配置core-site.xml文件：

<property>

    <name>hadoop.tmp.dir</name>

     <value>/home/pt/hadoop-cdh4b1/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

   </property>

   <property>

    <name>fs.defaultFS</name>

    <value>hdfs://goon</value>  // goon是NameService ID，这里可以自己设置

  </property>

4.2 配置hdfs-site.xml文件：

配置：dfs.namenode.name.dir

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/pt/hadoop-cdh4b1/cluster-data</value>

  </property>

配置：dfs.federation.nameservices

<property>

    <name>dfs.federation.nameservices</name>

    <value>goon</value> //goon是nameservice名称

   </property>

配置：dfs.ha.namenodes.[nameservice ID]. 下面的goon是nameservice ID，nn1和nn2是每台namenode的serviceId。

  <property>

   <name>dfs.ha.namenodes.goon</name>

   <value>nn1,nn2</value> //goon

  </property>

配置rpc通信地址：dfs.namenode.rpc-address.[nameservice ID].

  <property>

    <name>dfs.namenode.rpc-address.goon.nn1</name>

    <value>10.250.8.106:9000</value>

  </property>

  <property>

    <name>dfs.namenode.rpc-address.goon.nn2</name>

    <value>10.250.8.107:9000</value>

  </property>

配置http通信地址：dfs.namenode.http-address.[nameservice ID].

<property>

    <name>dfs.namenode.http-address.goon.nn1</name>

    <value>10.250.8.106:50070</value>

  </property>

<property>

    <name>dfs.namenode.http-address.nn2</name>

    <value>10.250.8.107:50070</value>

  </property>

配置：dfs.namenode.shared.edits.dir

dfs.namenode.shared.edits.dir是主备namenode共享目录，这里要求主备都可以读写，我这采用NFS实现共享，NFS实现可以参照：http://www.vpsee.com/2010/06/install-nfs-4-0-on-centos/

  <property>

    <name>dfs.namenode.shared.edits.dir</name>

    <value>/home/pt/data_NFS</value>

  </property>

配置客户端failover：

  <property>

    <name>dfs.client.failover.proxy.provider.goon</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  </property>

配置：Fencing，这里dfs.ha.fencing.methods实现的方法有两种sshfence和shell，我下面实现的是sshfence，dfs.ha.fencing.ssh.private-key-files这个是ssh的key file。

  <property>

    <name>dfs.ha.fencing.methods</name>

    <value>sshfence</value>

  </property>

  <property>

    <name>dfs.ha.fencing.ssh.private-key-files</name>

    <value>/home/lpt/.ssh/id_rsa</value>

  </property>

另外dataNode节点需要配置：

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/pt/hadoop-cdh4b1/datanode-data</value>

  </property>

4.3 yarn-site.xml的配置

可参考：http://blog.sina.com.cn/s/blog_4a1f59bf010116rh.html

5.初始化NameNode

     首先格式化主备namenode ：bin/hdfs namenode –format 为了让主备dfs.namenode.name.dir目录下的Namenode的元数据一致以及dfs.namenode.shared.edits.dir包含最近所有的edit files，可以把主节点的dfs.namenode.name.dir目录下的元数据拷贝到备用节点dfs.namenode.name.dir和共享dfs.namenode.shared.edits.dir目录下。

5.启动集群：

启动hdfs：sbin/start-dfs.sh

启动mapreduce：sbin/start-yarn.sh

注意：此时是以NameNode HA配置方式启动集群的，NameNode启动之后处于standby状态，此时集群并不能服务。要想让集群能够服务，此时就应该借助DFSHAadmin命令了，可以采用bin/hdfs haadmin –DFSHAadmin –transitionToActive nn1 让上面配置的nn1处于active状态，nn2还处于stanby状态。另外DFSHAadmin还有一些其他的功能如下：

Usage: DFSHAAdmin [-ns <nameserviceId>]

    [-transitionToActive <serviceId>]

    [-transitionToStandby <serviceId>]

    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]

    [-getServiceState <serviceId>]

    [-checkHealth <serviceId>]

    [-help <command>]

    其中：bin/hdfs haadmin -DfSHAadmin -failover nn1 nn2是让nn2成为变为active nn1变为standby，这是使用这个命令可能会出现：Failover failed: /10.250.8.107:9000 is not ready to become active，这时我们用命令bin/hdfs haadmin -DfSHAadmin -failover --forceactive nn1 nn2就不会出现上面的问题，要想知道上面参数具体是什么意思可以看看hadoop-0.23或CHD4B1的源码。