Hadoop系统应用之搭建Hadoop高可用集群

一、实验说明

三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态

二、实验准备

先搭建普通的hadoop集群    (12条消息) Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程_hadoop环境搭建与安装_-牧心-的博客-CSDN博客

三、开始搭建

1.修改配置文件

（1）进入配置文件目录

命令：cd /export/servers/hadoop-2.7.3/etc/hadoop/

（2）修改core-site.xml文件

 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。

zookeeper地址就是你的三台主机名

添加以下代码

<configuration>
         <!-- 指定hdfs的nameservice为ns1 -->
         <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://ns1/</value>
         </property>
         <!-- 指定hadoop临时目录 -->
         <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/export/servers/hadoop-2.7.3/tmp</value>
         </property>

         <!-- 指定zookeeper地址 -->
         <property>
                 <name>ha.zookeeper.quorum</name>
                 <value>yangjian00:2181,yangjian01:2181,yangjian02:2181</value>
         </property>
</configuration>

（3）修改hdfs-site.xml文件

  配置两台NameNode端口地址和通信方式，指定NameNode的元数据上的存放位置，开启NameNode失败自动切换以及配置sshfence（通过ssh远程登录到前一个Active NameNode并将其结束进程：

<configuration>
        <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>
        <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>yangjian00:9000</value>
        </property>
        <!-- nn1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>yangjian00:50070</value>
        </property>
        <!-- nn2的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>yangjian01:9000</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>yangjian01:50070</value>
        </property>
        <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
        </property>
        <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/root/software/hadoop-2.7.7/journaldata</value>
        </property>
        <!-- 开启NameNode失败自动切换 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置失败自动切换实现方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProv
ider</value>
        </property>
        <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                sshfence
                shell(/bin/true)
                </value>
        </property>
        <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔离机制超时时间 -->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
</configuration>

 （4）修改mapred-site.xml文件

  该文件是MapReduce的核心配置文件，指定MapReduce运行时框架。在etc/ hadoop/目录中默认没有该文件，将“mapred-site.xml.template ”文件复制并重命名为“mapred-site.xml”。打开mapred-site.xml文件进 行修改

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
 
  <!-- 指定mapreduce框架为yarn方式 -->
 
  <property>
 
    <name>mapreduce.framework.name</name>
 
    <value>yarn</value>
 
  </property>
 
</configuration>

（5）修改yarn-site.xml文件

 本文件是YARN框架的核心配置文件，开启ResourceManager高可用，指定ResourceManager的端口名称地址，并配置Zookeeper集群地址。打开该配置 文件，添加如下配置内容。

<configuration>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>yangjian00</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>                                                                                                                                                    

 （6）修改slaves文件

 vi slaves

 （7）修改hadoop-env.sh文件

       进入到主节点hadoop01解压包下的etc/hadoop/目录，使用“vi hadoop-env.sh”指令打 开其中的hadoop-env.sh文件，找到JAVA_HOME参数位置进行修改（注意JDK路径，你自己的路径是什么就改成什么）

 四、分发文件

在yangjian00上进行

 scp -r /export/servers/hadoop-2.7.3/  root@yangjian01:/export/servers
 scp -r /export/servers/hadoop-2.7.3/  root@yangjian02:/export/servers

scp -r /etc/profile  root@yangjian01:/etc/
scp -r /etc/profile  root@yangjian02:/etc/

五、启动hadoop集群

1.启动journalnode，三台机器都要这一步操作（仅第一次启动hadoop时，需要这一步操作，之后不再需要手动启动journalnode）

hadoop-daemon.sh start journalnode

 2.在yangjian00上执行格式化操作，格式化namenode和zkfc

hdfs namenode -format
hdfs zkfc -formatZK

3. namenode主从信息同步，在yangjian01节点上执行同步命令

hdfs namenode -bootstrapStandby

 4,启动和停止命令

#启动命令
#yangjian00
start-all.sh
hadoop-daemon.sh start zkfc

#yangjian01
yarn-daemon.sh start resourcemanager
hadoop-daemon.sh start zkfc

#关闭命令
#yangjian00
stop-all.sh
hadoop-daemon.sh stop zkfc

#yangjiann01
yarn-daemon.sh stop resourcemanager
hadoop-daemon.sh stop zkfc

5,查看进程

 

六、进行验证

 1.登录主节点查看

 2.登录主备用节点查看

 3.kill 掉主节点的 namenode 进程， 检验yangjian00是否会自动切换到namenode

[root@yangjian00 ~]# jps
14259 NodeManager
11172 QuorumPeerMain
13589 NameNode
14149 ResourceManager
13883 JournalNode
13694 DataNode
14959 Jps
[root@yangjian00 ~]# kill 13589

4.再一次登录yangian01:50070进行查看