大数据集群安装系列2：Hadoop HA 模式安装

最新推荐文章于 2024-07-11 18:52:23 发布

一杯派蒙

最新推荐文章于 2024-07-11 18:52:23 发布

阅读量409

点赞数

本文链接：https://blog.csdn.net/eases_stone/article/details/80473052

版权

1,基本环境配置：依赖zookeeper，

请参看zookeeper 的安装：
大数据集群安装系列1：Zookeeper 的安装
欢迎留言哦，欢迎提问。

2,hadoop HA 模式安装

2.1，下载相应的hadoop 安装包，本文是2.7.2，放到服务器目录下，解压，类似如下：

[root@master /opt/bigdata/component]# pwd
/opt/bigdata/component
[root@master /opt/bigdata/component]# ls
azkaban.tar.gz  GsFaceLib.tar.gz  hadoop.tar.gz         hbase.tar.gz  kafka.tar.gz  spark.tgz            zookeeper
elastic.tar.gz  hadoop            haproxy-1.7.9.tar.gz  hive.tar.gz   rocketmq.zip  zabbix-3.4.6.tar.gz  zookeeper.tar.gz
[root@master /opt/bigdata/component]#

2.2 配置cores-site.xml：请根据具体提示修改

<configuration>

    <!--指定hdfs的nameservice为hacluster，需要和core-site.xml中的保持一致 -->
    <property>
    <name>dfs.nameservices</name>
    <value>hacluster</value>
    </property>

    <!-- hacluster下面有两个NameNode，分别是nn1，nn2， -->
    <property>
    <name>dfs.ha.namenodes.hacluster</name>
    <value>nn1,nn2</value>
    </property>

    <!-- nn1的RPC通信地址 -->
    <property>
    <name>dfs.namenode.rpc-address.hacluster.nn1</name>
    <value>master:9000</value>
    </property>

    <!-- nn1的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.hacluster.nn1</name>
        <value>master:50070</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
           <name>dfs.namenode.rpc-address.hacluster.nn2</name>
    <value>workerI:9000</value>
    </property>

    <!-- nn2的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.hacluster.nn2</name>
    <value>workerI:50070</value>
    </property>

    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://workerII:8485;workerI:8485;master:8485;/hacluster</value>
    </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/bigdata/Hadoop/hadoop/dfs_journalnode_edits_dir</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    </property>

    <!-- 配置失败自动切换实现方式 -->
    <property>
    <name>dfs.client.failover.proxy.provider.hacluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
    </property>

    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    </property>

    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
    </property>

    <!-- 由于Java 8与Hapdoop 2.7.0的Yarn存在某些不兼容，造成内存的溢出，导致程序异常终止 -->
    <!--<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
    </property>

    <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    </property>

    <property> 
      <name>dfs.permissions.enabled</name> 
      <value>false</value>
    </property>  -->
    <!-- 指定DataNode存储block的副本数量。默认值是3个 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

2.4 配置yarn-site.xml

-->
<configuration>

    <!-- Site specific YARN configuration properties -->
    <!-- 启用RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster resourcemanager 的名字 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

    <!-- 指定RM的名字,唯一标志，不用修改 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>workerI</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>workerII:2181,workerI:2181,master:2181,</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle,spark_shuffle</value>
    </property>

    <!--以下是集群资源调优配置-->

      <!--以下是集群资源调优配置-->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>19000</value>
    </property>


    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>8192</value>
    </property>


    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>19000</value>
    </property>


    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>8192</value>
    </property>

    <property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx6553m</value>
    </property>



    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>master:8088</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>workerI:8088</value>
    </property>

    <!--Spark 动态资源申请配置-->
    <property>
        <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    </property>
    <property>
    <name>spark.shuffle.service.port</name>
    <value>7337</value>
    </property>

</configuration>

2.6 修改yarn-env.sh 和hadoop-env.sh 中java 的路径，以及配置slaves 节点

export JAVA_HOME=/opt/bigdata/basic/jdk

[root@master /opt/bigdata/component/hadoop/etc/hadoop]# vim slaves 
[root@master /opt/bigdata/component/hadoop/etc/hadoop]# cat slaves 
master
workerI
workerII

2.7 分发文件：

scp -r hadoop workerI:pwd
scp -r hadoop workerII:pwd

3，安装好后，接下来就是启动了

3.1 在master 节点，首先格式化zk（此时请确保zookeeper 已经启动）

在$HADOOP_INSTALL_HOME/bin
./hdfs zkfc -formatZK -force

3.2 启动zkfc(每个节点都需要这样做)

在$HADOOP_INSTALL_HOME/sbin
./hadoop-daemon.sh start zkfc

3.3 启动journalnode（每个节点）

在$HADOOP_INSTALL_HOME/sbin
./hadoop-daemon.sh start journalnode

3.4 格式化hdfs 文件系统

在$HADOOP_INSTALL_HOME/bin
./hadoop namenode -format -force

3.5 在master 节点，进行启动hdfs

在$HADOOP_INSTALL_HOME/sbin
./start-dfs.sh

3.6 启动yarn

在$HADOOP_INSTALL_HOME/sbin
./start-yarn.sh

3.7 在备用节点，启动备用namenode 和备用resourcemanager

 本文备用节点是workerI
 在HADOOP_INSTALL_HOME/sbin    
 yarn-daemon.sh start resourcemanager
 在$HADOOP_INSTALL_HOME/sbin  
 hdfs namenode -bootstrapStandby
 在$HADOOP_INSTALL_HOME/sbin   
 hadoop-daemon.sh start namenode

3.8 至此，所有hdfs 内容已经启动，具体进程如下：

[root@workerI ~]# jps
1969 WrapperSimpleApp
6961 Jps
5682 JournalNode
5956 DFSZKFailoverController
5527 QuorumPeerMain
5832 DataNode
6057 NodeManager
6203 ResourceManager
[root@workerI ~]# 


[root@master ~]# jps
6560 DFSZKFailoverController
6644 JournalNode
7460 ResourceManager
7112 DataNode
7563 NodeManager
8396 Jps
2076 WrapperSimpleApp
6957 NameNode
6174 QuorumPeerMain


[root@workerII ~]# jps
4067 NodeManager
3923 DataNode
3848 JournalNode
2200 WrapperSimpleApp
4606 Jps
3679 QuorumPeerMain
(请不要在一Jps 和WrapperSimpleApp 这两个不需要关注 )