hadoop CHD4 HA 详细安装和配置

准备：
下载安装hadoop
wget http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.3.0.tar.gz
下载安装zookeeper
wget http://archive.cloudera.com/cdh4/cdh/4/zookeeper-3.4.5-cdh4.3.0.tar.gz

[b]1、当前hadoop集群的情况[/b]

10.95.3.61 master (主NN)
10.95.3.62 slave1 (DN)
10.95.3.63 slave2 (备NN)
10.95.3.64 slave3 (DN)
10.95.3.65 slave4 (DN)
10.95.3.67 slave6 (DN，nfs)

[b]2、安装和配置nfs[/b]

由于节点资源有限，故选择slave6(DN)作为nfs服务器。默认情况下，系统本身自己就安装了nfs，如果没有安装，则：
NFS的安装配置：
centos 5 :
yum -y install nfs-utils portmap
centos 6(在CentOS 6.3当中，portmap服务由rpcbind负责) :
yum -y install nfs-utils rpcbind

以下操作在slave6上进行
1） 创建共享目录：
mkdir /dw/ha_edits (hadoop 用户创建)

2） 切换用户为root ，
执行：vi /etc/exports，
添加：/dw/ha_edits *(rw,sync,no_root_squash) [遇到的问题：如果*换成10.95.3.*的话，挂载会失败，报拒绝访问的错误]，保存退出。

3） 使保存生效，执行：exportfs -r

4） 启动nfs服务：
对centos6，执行：
# service rpcbind start
# service nfs start
对centos5，执行：
# service portmap start
# service nfs start

以下操作在主备NN上操作
1） 创建要挂载的目录
登录master，用hadoop用户创建/dw/ha_edits目录，执行：
mount -t nfs 10.95.3.67:/dw/ha_edits /dw/ha_edits
登录slave2，用hadoop用户创建/dw/ha_edits 目录，执行：
mount -t nfs 10.95.3.67:/dw/ha_edits /dw/ha_edits

到此挂载成功
注意，对/etc/exports文件修改，要重启nfs服务，命令：service nfs restart。

2）解除挂载：(root用户操作)
# umount /dw/ha_edits
如果遇到：umount.nfs: /dw/ha_edits : device is busy，则执行：
# fuser -m -v /dw/ha_edits
用户 进程号 权限 命令
/usr/local/test/: root 2798 ..c.. bash
root 2996 ..c.. su
# kill -9 2798
# kill -9 2996
# umount /usr/local/test
3）查看挂载信息：
# mount

[b]3、配置两个NameNode可以相互无密码ssh[/b]

现在两台NN分别是master和slave2。以hadoop用户登录slave2，进入/home/hadoop目录下，
1) 执行：
ssh-keygen -t rsa，注意一定不要输入密码，这样，在/home/hadoop/.ssh目录下将会生成id_rsa，id_rsa.pub两个文件。

2) 配置slave2到master的免密码登录:
执行：ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master ，这样就把slave2的公钥加入到了master的authorized_keys文件中。

同理，可以配置master到slave2的免密码登录(此处不再赘述)。

注意：文件夹的权限
chmod 755 .ssh/
chmod 644 .ssh/authorized_keys


[b]4、zookeeper安装和配置[/b]

选定以下作为zookeeper 服务器：
10.95.3.61 master
10.95.3.63 slave2
10.95.3.67 slave6

zookeeper的详细安装过程此处不在赘述。
注意以下几点：
1） 配置zookeeper环境变量。
2）把/conf 下的zoo_sample.cfg拷贝一份重命名为zoo.cfg，并配置相应选项。

[b]5、hadoop的相关配置[/b]

1) 修改所有节点(NN,DN) 的 hdfs-site.xml
进入hadoop安装目录下的etc/hadoop目录中，
执行：vi hdfs-site.xml
注释掉：

          <!--    <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave1:50090</value>
        </property>
         -->

添加：

        <property>
                <name>dfs.nameservices</name>
                <value>master</value>
                <description>提供服务的NS逻辑名称，与core-site.xml里的对应</description>
        </property>

        <property>
                <name>dfs.ha.namenodes.master</name>
                <value>nn1,nn2</value>
                <description>列出该逻辑名称下的NameNode逻辑名称</description>
        </property>

        <property>
                <name>dfs.namenode.rpc-address.master.nn1</name>
                <value>master:8020</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.master.nn2</name>
                <value>slave2:8020</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.master.nn1</name>
                <value>master:50070</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.master.nn2</name>
                <value>slave2:50070</value>
        </property>

保存，退出。
最后，把这个文件同步到所有其他的节点上去。

2） 修改两个NN节点的hdfs-site.xml
执行：vi hdfs-site.xml
添加以下配置：

         <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>file:///dw/ha_edits</value>
        </property>

        <property>
                <name>dfs.client.failover.proxy.provider.master</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hadoop/.ssh/id_rsa</value>
        </property>

        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>

         保存退出。
         把hdfs.xml同步到另一个NN节点上去。

3） 修改两个NN节点的core-site.xml
执行：vi core-site.xml
添加以下配置：

        <property>
                <name>ha.zookeeper.quorum</name>
                <value>master:2181,slave2:2181,slave6:2181</value>
        </property>

保存退出。
把core-site.xml文件同步到另一个NN节点上。

注：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master</value>
        </property>

这个配置master要和上面的hdfs-site.xml一些配置对应。
ps: 经过测试，以上配置文件在所有NN，DN节点上可以一致，所以可以在一个节点上修改完毕后同步到其他节点上去。 :D
[b] 6） 同步两个HA NameNodes的磁盘元数据(hdfs namenode -format)[/b]

如果你正在建立一个新的HDFS集群，你应该首先在其中的一台namenodes上运行format command(hdfs namenode -format)。
如果你已经format了NameNode，把主NN上的整个current复制到备NN上的。此时，你也应该确认共享edits 目录（dfs.namenode.shared.edits.dir配置）包含了你的NameNode 元数据目录最近的所有edits的文件。

[b] 7） 在zookeeper初始化HA的状态[/b]

初始化在zookeeper中需要的状态，你能够在其中一台的NameNode主机上执行下面命令：
$ hdfs zkfc -formatZK
这将在zookeeper里面创建一个znode，这样自动failover能够在它里面存储它的数据。

[b] 8 ) 用start-dfs.sh启动集群[/b]

# start-dfs.sh

启动后，在挂载的目录下能看到current目录以及下面的元数据。两个NN将会存在两个进程：DFSZKFailoverController NameNode

执行：hdfs haadmin -getServiceState nn1/nn2 能返回各个节点的状态

[b] 9 ) 测试[/b]

kill -9 [pid of NN] 检查是否切换到了另一个节点上去了。