hadoop(五)--七节点HA集群搭建

最新推荐文章于 2023-06-28 09:56:01 发布

jasnet_u

最新推荐文章于 2023-06-28 09:56:01 发布

阅读量801

点赞数

分类专栏： java编程 hadoop大数据文章标签： java hadoop

本文链接：https://blog.csdn.net/jasnet_u/article/details/80632044

版权

java编程同时被 2 个专栏收录

91 篇文章 0 订阅

订阅专栏

hadoop大数据

6 篇文章 0 订阅

订阅专栏

如题，搭建hadoop的HA集群。

hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题，两个namenode组成一个联邦，一个为active，另一个为standby状态。yarn集群的HA，则是需要两台resourcemanager机器，一个active一个standby。

一、环境准备

7台虚拟机：

hadoopNode01 192.168.9.11 namenode 、 zkfc 内存 1.2G

hadoopNode02 192.168.9.12 namenode 、 zkfc 内存1.2G

hadoopNode03 192.168.9.13 resourcemanager 内存 1G

hadoopNode04 192.168.9.14 resourcemanager 内存1G

hadoopNode05 192.168.9.15 datanode 、nodemanager 、journalnode、zookeeper 内存1.1G

hadoopNode06 192.168.9.16 datanode 、nodemanager 、journalnode 、zookeeper 内存1.1G

hadoopNode07 192.168.9.17 datanode 、nodemanager 、journalnode、zookeeper 内存1.1G

二、集群安装（注意安装步骤）

1、安装zookeeper

分别在hadoopNode05 、hadoopNode06、hadoopNode07上安装zookeeper。

zookeeper集群是HA的基础，任何其他的集群协调机制(如hdfs,yarn等集群)都是需要依靠zookeeper来实现的。

hadoopNode05上：

cd installpkg;

tar zxvf zookeeper-3.4.12.tar.gz -C ../app/

cd /home/hadoop/app/zookeeper-3.4.12/conf

cp zoo_sample.cfg zoo.cfg
vi zoo.cfg 内容如下

# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#dataDir=/tmp/zookeeper
dataDir=/home/hadoop/app/zookeeper-3.4.12/data
dataLogDir=/home/hadoop/app/zookeeper-3.4.12/dataLog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hadoopNode05:2888:3888
server.2=hadoopNode06:2888:3888
server.3=hadoopNode07:2888:3888

cd /home/hadoop/app/zookeeper-3.4.12
mkdir data dataLog
cd data
echo 1 >myid

hadoopNode06、 hadoopNode07上zookeeper安装与此类似（只是myid文件中的保存的id不同而已）：

hadoopNode06 上 echo 2>myid

hadoopNode07上 echo 3>myid

2、安装hadoop(hdfs、yarn)集群

在hadoopNode01、hadoopNode02上安装hadoop

cd installpkg
tar -zxvf hadoop-2.7.6.tar.gz -C ../app/
cd /home/hadoop/app/hadoop-2.7.6/etc/hadoop 修改配置文件

（1）修改hadoop-env.sh ,手动指定 JAVA_HOME变量值

vi hadoop-env.sh 修改如下

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80

（2）修改core-site.xml 配置

vi core-site.xml 修改如下

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns1/</value>
        </property>
<!-- 指定hadoop临时目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.7.6/tmp</value>
        </property>
        <!--  指定zookeeper地址  -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hadoopNode05:2181,hadoopNode06:2181,hadoopNode07:2181</value>
        </property>
</configuration>

(3) 修改hdfs-site.xml 配置

vi hdfs-site.xml 修改如下：

<configuration>
   <!-- 指定HDFS副本的数量 默认3个副本 -->
    <property>
             <name>dfs.replication</name>
             <value>3</value>
    </property>
  <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
  <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
  </property>

<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
  <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
  </property>

  <!-- nn1的RPC通信地址 -->
  <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>hadoopNode01:9000</value>
  </property>
  <!-- nn1的http通信地址 -->
  <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>hadoopNode01:50070</value>
</property>

  <!-- nn2的RPC通信地址 -->
  <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>hadoopNode02:9000</value>
  </property>

 <!-- nn2的http通信地址 -->
 <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>hadoopNode02:50070</value>
  </property>


  <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
   <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoopNode05:8485;hadoopNode06:8485;hadoopNode07:8485/ns1</value>
  </property>
 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
     <name>dfs.journalnode.edits.dir</name>
        <value>/home/hadoop/app/hadoop-2.7.6/journaldata</value>
 </property>

  <!-- 开启NameNode失败自动切换 -->
  <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
   </property>


 <!-- 配置失败自动切换实现方式 -->
  <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence
                shell(/bin/true)
        </value>
 </property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间 -->
<property>
   <name>dfs.ha.fencing.ssh.connect-timeout</name>
   <value>30000</value>
 </property>


 <!--datanode 节点超时 14秒 -->
  <property>
    <name>heartbeat.recheck.interval</name>
    <value>2000</value>
  </property>
   <property>
    <name>dfs.heartbeat.interval</name>
     <value>1</value>
 </property>

  <!--HDFS冗余数据块的自动删除  10秒 -->
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>10000</value>
</property>

（4）修改mapred-site.xml配置

vi mapred-site.xml 修改如下

<configuration>

 <!-- 指定mr框架为yarn方式 -->
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
</configuration>

（5）修改yarn-site.xml配置

vi yarn-site.xml 修改如下：

   
<configuration>  
   <!-- 开启RM高可用 -->
        <property>
                  <name>yarn.resourcemanager.ha.enabled</name>
                   <value>true</value>
        </property>

        <!-- 指定RM的cluster id -->
        <property>
                   <name>yarn.resourcemanager.cluster-id</name>
                    <value>yrc</value>
         </property>

         <!-- 指定RM的名字 -->
        <property>
                   <name>yarn.resourcemanager.ha.rm-ids</name>
                   <value>rm1,rm2</value>
          </property>

       <!-- 分别指定RM的地址 -->
        <property>
                  <name>yarn.resourcemanager.hostname.rm1</name>
                  <value>hadoopNode03</value>
         </property>

        <property>
                 <name>yarn.resourcemanager.hostname.rm2</name>
                   <value>hadoopNode04</value>
        </property>

        <!-- 指定zk集群地址 -->
        <property>
               <name>yarn.resourcemanager.zk-address</name>
                   <value>hadoopNode05:2181,hadoopNode06:2181,hadoopNode07:2181</value>
         </property>

        <property>
              <name>yarn.nodemanager.aux-services</name>
                   <value>mapreduce_shuffle</value>
         </property>
</configuration>

（6）修改slave 配置（对于hdfs从节点为datanode，对于yarn从节点为nodemanager）

vi slave 修改如下：

hadoopNode05
hadoopNode06
hadoopNode07

（7）配置7台机器之间相互ssh免密

分别在7台机器上执行：

ssh-keygen -t rsa
ssh-copy-id hadoopNode01
ssh-copy-id hadoopNode02
ssh-copy-id hadoopNode03
ssh-copy-id hadoopNode04
ssh-copy-id hadoopNode05
ssh-copy-id hadoopNode06

ssh-copy-id hadoopNode07

(8) scp 远程复制及其他配置

cd app/hadoop-2.7.6/

mkdir tmp

hadoop安装完成后，复制hadoopNode01上hadoop-2.7.6到其他6台机器上.

scp -r hadoop-2.7.6 hadoopNode02:/home/hadoop/app/
scp -r hadoop-2.7.6 hadoopNode03:/home/hadoop/app/
scp -r hadoop-2.7.6 hadoopNode04:/home/hadoop/app/
scp -r hadoop-2.7.6 hadoopNode05:/home/hadoop/app/
scp -r hadoop-2.7.6 hadoopNode06:/home/hadoop/app/

scp -r hadoop-2.7.6 hadoopNode07:/home/hadoop/app/

7台机器分别配置环境变量

su root

vi /etc/profile

JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

HADOOP_HOME=/home/hadoop/app/hadoop-2.7.6
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME
export HADOOP_HOME
export CLASSPATH
export PATH

source /etc/profile

exit

三、启动hadoopHA集群（注意启动顺序）

1、启动zookeeper集群

分别在hadoopNode05、hadoopNode06、hadoopNode07上启动zookeeper ：

cd app/zookeeper-3.4.12/bin/

./zkServer.sh start

2、（可选）首次启动HA集群，需先启动journalnode

分别在hadoopNode05、hadoopNode06、hadoopNode07上启动journalnode：

hadoop-daemon.sh start journalnode

3、（可选）首次启动HA集群，格式化HDFS (namenode)

在hadoopNode01上执行：

hdfs namenode -format
复制本地格式化的dfs到另一台namenode上。

scp -r tmp/dfs hadoopNode02:/home/hadoop/app/hadoop-2.7.4/tmp/

4 、（可选）首次启动HA集群，格式化ZKFC

在 hadoopNode01或hadoopNode02 上任意一台上执行：

hdfs zkfc -formatZK

5、启动hdfs

在 hadoopNode01或hadoopNode02 上任意一台上执行：

start-dfs.sh

6、启动yarn

在 hadoopNode03(或hadoopNode04)上执行：

start-yarn.sh

在 hadoopNode04(或hadoopNode03)上执行：

yarn-daemon.sh start resourcemanager

四、测试访问

HDFS集群
http://192.168.9.11:50070
http://192.168.9.12:50070

YARN集群
http://192.168.9.13:8088/cluster
http://192.168.9.14:8088/cluster

jasnet_u

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
hadoop(五)--七节点HA集群搭建

如题，搭建hadoop的HA集群。hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题，两个namenode组成一个联邦，一个为active，另一个为standby状态。yarn集群的HA，则是需要两台resourcemanager机器，一个active一个standby。一、环境准备 7台虚拟机： hadoopNode01 ...
复制链接

扫一扫