hadoop 集群HA高可用搭建

1.hadoop 集群搭建环境介绍

   hadoop-2.6.0-cdh5.10.0

   zookeeper-3.4.5-cdh5.10.0

   jdk1.8.0_181

2.zookeeper集群

配置略。网上有很多资料，一般不会出现大的问题。搭建完记得查看状态，记得节点数为奇数（3+），其中一台为leader.

3.Hadoop集群环境配置

主要是修改下面五个文件

1. core-site.xml

<configuration>
    <property>
    <!-- 配置 hadoop NameNode ip地址 ,由于我们配置的 HA 那么有两个namenode 所以这里配置的地址必须是动态的-->
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
    <!-- 整合 Zookeeper -->
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/work/hadoop-2.6.0-cdh5.10.0/tmp</value>
    </property>
</configuration>

2. hadoop-env.sh

3. hdfs-site.xml

<configuration>
    <!--命名空间设置ns1-->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!--namenodes节点ID:nn1,nn2(配置在命名空间mycluster下)-->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
     <!--nn1,nn2节点地址配置-->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:8020</value>
    </property>
    <!--nn1,nn2节点WEB地址配置-->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <!--这是NameNode读写JNs组的uri。通过这个uri，NameNodes可以读写edit log内容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。这里的host1、host2、host3指的是Journal Node的地址，这里必须是奇数个，至少3个；其中journalId是集群的唯一标识符，对于多个联邦命名空间，也使用同一个journalId。配置如下-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/root/work/hadoop-2.6.0-cdh5.10.0/tmp/dfs/journalnode</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/root/work/hadoop-2.6.0-cdh5.10.0/tmp/name</value>
    </property>

    <property>
            <name>dfs.namenode.data.dir</name>
            <value>/root/work/hadoop-2.6.0-cdh5.10.0/tmp/data</value>
    </property>
    <!--这里配置HDFS客户端连接到Active NameNode的一个java类-->
    <property>
            <name>dfs.client.failover.proxy.provider.mycluster</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!--配置active namenode出错时的处理类。当active namenode出错时，一般需要关闭该进程。处理方式可以是ssh也可以是shell。如果使用ssh，配置如下-->
    <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
    </property>
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
    </property>

    <!--启用自动故障转移-->
    <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
    </property>
    <property>
            <name>dfs.replication.max</name>
            <value>32767</value>
    </property>
</configuration>

4. mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

6. slaves

master
slave1
slave2

4.集群启动

1.同步hadoop到各个机器里。

scp -rf hadoop-2.6.0-cdh5.10.0  slave1:/root/work/

2.进入到HADOOP_HOME里，执行下面命令(需要首先将hadoop同步到各个机器里。)

bin/hdfs zkfc -formatZK

3.到ZOOKEEPER_HOME 下验证zkfc是否格式化成功，如果多了一个hadoop-ha包就是成功了

4. 根据hdfs-site.xml 的dfs.namenode.name.dir和dfs.namenode.data.dir 在tmp 在hadoop根目录下建立 tmp/name 和 tmp/data文件夹。ps:有时格式化namenode不成功可能是这个造成的

mkdir tmp/name tmp/data

5.依次在集群机器里启动journalnode

./sbin/hadoop-daemon.sh start journalnode

6.格式化集群的一个NameNode（master）， 6/7/8三个步骤的顺序不能错。不然name下面 会出现 一个.lock的文件。导致集群启动出错

 bin/hdfs namenode -format

7.在上述的master机器上将tmp/name 复制到其他namenode里（slave1）

scp -r name slave1:/root/work/hadoop-2.6.0-cdh5.10.0/tmp/

8.启动master机器上的namenode

./sbin/hadoop-daemon.sh start namenode

9.在另外的namenode机器（slave1）上启动

bin/hdfs namenode –bootstrapStandby 

10.在slave1上启动

./sbin/hadoop-daemon.sh start namenode 

11.浏览器访问n1,n2页面

http://master:50070/dfshealth.html#tab-overview

这个时候在网址上可以发现m1和m2的状态都是standby。

12.在master上执行（根据slaves文件会把所有datanode都启动起来）

./sbin/hadoop-daemons.sh start datanode

13.在master上启动yarn

 ./sbin/start-yarn.sh

14.启动n1和n2上的 ZooKeeperFailoverCotroller

./sbin/hadoop-daemon.sh start zkfc

jps 一下 查看 进程 有DFSZKFailoverController，再次访问页面会发下n1状态变为active,n2状态为standby

 

15.bin/hdfs haadmin -transitionToActive nn1 可以进行切换 ha 但是 需要将zkfc关闭

上述搭建过程亲测可用。按顺序来应该不会出现问题。

转载于:https://my.oschina.net/hxtz/blog/1929119