Hadoop高可用 HA [搭建]

已于 2022-10-06 15:58:39 修改
阅读量1.1k 收藏 4
点赞数 2
分类专栏： hadoop基础学习笔记 文章标签： hadoop java 大数据
于 2022-10-06 08:07:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53336038/article/details/127114615
版权

目录

1. hadoop102中的操作

1.1修改配置文件core-site.xml

 1.2 修改配置文件hdfs-site.xml   

1.3 修改每一台机器的HADOOP_HOME 的环境变量   

2.分发：将/opt/ha/hadoop-3.1.3 分发到103 和 104 

2.1启动journalnode服务

2.2格式化

2.3同步nn1的元数据信息并启动访问

前准备工作：
1. 在/opt/module/下创建文件夹 ha
      mkdir /opt/module/ha       
2. 将目前的hadoop安装目录拷贝到 /opt/module/ha
      cp -r hadoop-3.1.3/ ha/
3. 删除一些多余的目录文件 保证是一个初始化集群的状态
      rm -rf data/ logs/ abc.txt /……/ wcinput/ wcoutput/

正式开始搭建集群

1. hadoop102中的操作

1.1修改配置文件core-site.xml

  <configuration>
        <!-- 把多个NameNode的地址组装成一个集群mycluster -->
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://mycluster</value>
        </property>

        <!-- 指定hadoop数据的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/ha/hadoop-3.1.3/data</value>
        </property>

        <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
        <property>
            <name>hadoop.http.staticuser.user</name>
            <value>atguigu</value>
        </property>

        <!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
        <property>
            <name>hadoop.proxyuser.atguigu.hosts</name>
            <value>*</value>
        </property>
        <!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
        <property>
            <name>hadoop.proxyuser.atguigu.groups</name>
            <value>*</value>
        </property>
        <!-- 配置该atguigu(superUser)允许通过代理的用户-->
        <property>
            <name>hadoop.proxyuser.atguigu.groups</name>
            <value>*</value>
        </property>
    </configuration>

      


 1.2 修改配置文件hdfs-site.xml   

   <configuration>
        <!-- NameNode数据存储目录 -->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file://${hadoop.tmp.dir}/name</value>
        </property>
        <!-- DataNode数据存储目录 -->
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file://${hadoop.tmp.dir}/data</value>
        </property>
        <!-- JournalNode数据存储目录 -->
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>${hadoop.tmp.dir}/jn</value>
        </property>
        <!-- 完全分布式集群名称 -->
        <property>
            <name>dfs.nameservices</name>
            <value>mycluster</value>
        </property>
        <!-- 集群中NameNode节点都有哪些 -->
        <property>
            <name>dfs.ha.namenodes.mycluster</name>
            <value>nn1,nn2,nn3</value>
        </property>
        <!-- NameNode的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.mycluster.nn1</name>
            <value>hadoop102:8020</value>
        </property>
        <property>
            <name>dfs.namenode.rpc-address.mycluster.nn2</name>
            <value>hadoop103:8020</value>
        </property>
        <property>
            <name>dfs.namenode.rpc-address.mycluster.nn3</name>
            <value>hadoop104:8020</value>
        </property>
        <!-- NameNode的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.mycluster.nn1</name>
            <value>hadoop102:9870</value>
        </property>
        <property>
            <name>dfs.namenode.http-address.mycluster.nn2</name>
            <value>hadoop103:9870</value>
        </property>
        <property>
            <name>dfs.namenode.http-address.mycluster.nn3</name>
            <value>hadoop104:9870</value>
        </property>
        <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
        </property>
        <!-- 访问代理类：client用于确定哪个NameNode为Active -->
        <property>
            <name>dfs.client.failover.proxy.provider.mycluster</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
        </property>
        <!-- 使用隔离机制时需要ssh秘钥登录-->
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/atguigu/.ssh/id_rsa</value>
        </property>
          
      </configuration>

1.3 修改每一台机器的HADOOP_HOME 的环境变量   

打开 /etc/profile.d/my_evn.sh 修改如下：
      HADOOP_HOME=/opt/ha/hadoop-3.1.3


2.分发：将/opt/ha/hadoop-3.1.3 分发到103 和 104 

修改103和104的 环境变量：HADOOP_HOME=/opt/ha/hadoop-3.1.3


2.1启动journalnode服务

在102、103、104 各个JournalNode节点上，输入以下命令启动journalnode服务

    hdfs --daemon start journalnode


2.2格式化

在 hadoop102的 nn1 上，对其进行格式化，并启动

      hdfs namenode -format
      hdfs --daemon start namenode

2.3同步nn1的元数据信息并启动访问

分别在 hadoop103的nn2 和 hadoop104的nn3上，同步nn1的元数据信息

    hdfs namenode -bootstrapStandby

分别在 hadoop103上启动nn1 和 hadoop104上启动nn2

     hdfs --daemon start namenode

  通过web地址访问nn1 nn2 nn3    

       http:hadoop102:9870 
       http:hadoop103:9870 
       http:hadoop104:9870

在每台机器上启动DN

       hdfs --daemon start datanode

 将其中的一个nn切换成Active状态

    hdfs haadmin -transitionToActive --forcemanual nn1

 查看是否Active

hdfs haadmin -getServiceState nn1

     
3、完整HDFS HA集群规划

        hadoop102 :   Namenode  Datanode JournalNode   ZKFC    ZK
        hadoop103 :   Namenode  Datanode JournalNode   ZKFC    ZK
        hadoop104 :   Namenode  Datanode JournalNode   ZKFC    ZK   

  
3.1、实现HA的故障自动转移

3.1.1配置文件操作 

1.在core-site.xml文件中增加

       <!-- 指定zkfc要连接的zkServer地址 -->
       <property>
         <name>ha.zookeeper.quorum</name>
         <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
       </property>


    2. 在hdfs-site.xml中增加

       <!-- 启用nn故障自动转移 -->
       <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
       </property>


    3. 修改后分发配置文件

my_rsync /opt/module/ha/hadoop-3.1.3/etc/hadoop 

3.1.2 集群操作

   1. 关闭HDFS集群
       stop-dfs.sh
    2. 启动Zookeeper集群
       zk.sh start
    3. 初始化HA在Zookeeper中状态
       hdfs zkfc -formatZK
    4. 启动HDFS服务
       start-dfs.sh
    5. 可以去zkCli.sh客户端查看Namenode选举锁节点内容
       get /hadoop-ha/mycluster/ActiveStandbyElectorLock
    6. 测试故障自动转移
       -- 6.1  将当前状态为Active的namenode 杀死
       -- 6.2  刷新另外两台namenode的web端，关注状态
       -- 6.3  最后可以到zk中验证锁内容的名称

    
六、加入 YARN HA 集群规划:    

hadoop102 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager NodeManager

hadoop103 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager NodeManager

hadoop104 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager NodeManager


七、YARN HA 集群搭建步骤
    1. 修改yarn-site.xml

        <!-- 启用resourcemanager ha -->
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
     
        <!-- 声明三台resourcemanager的地址 -->
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>cluster-yarn1</value>
        </property>
        <!--指定resourcemanager的逻辑列表-->
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2,rm3</value>
        </property>
        
        <!-- ========== rm1的配置 ========== -->
        <!-- 指定rm1的主机名 -->
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>hadoop102</value>
        </property>
        <!-- 指定rm1的web端地址 -->
        <property>
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>hadoop102:8088</value>
        </property>
        <!-- 指定rm1的内部通信地址 -->
        <property>
            <name>yarn.resourcemanager.address.rm1</name>
            <value>hadoop102:8032</value>
        </property>
        <!-- 指定AM向rm1申请资源的地址 -->
        <property>
            <name>yarn.resourcemanager.scheduler.address.rm1</name>  
            <value>hadoop102:8030</value>
        </property>
        <!-- 指定供NM连接的地址 -->  
        <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
            <value>hadoop102:8031</value>
        </property>
        
        <!-- ========== rm2的配置 ========== -->
        <!-- 指定rm2的主机名 -->
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>hadoop103</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>hadoop103:8088</value>
        </property>
        <property>
            <name>yarn.resourcemanager.address.rm2</name>
            <value>hadoop103:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address.rm2</name>
            <value>hadoop103:8030</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
            <value>hadoop103:8031</value>
        </property>
        
        <!-- ========== rm3的配置 ========== -->
        <!-- 指定rm3的主机名 -->
        <property>
            <name>yarn.resourcemanager.hostname.rm3</name>
            <value>hadoop104</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm3</name>
            <value>hadoop104:8088</value>
        </property>
        <property>
            <name>yarn.resourcemanager.address.rm3</name>
            <value>hadoop104:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address.rm3</name>
            <value>hadoop104:8030</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
            <value>hadoop104:8031</value>
        </property>
     
        <!-- 指定zookeeper集群的地址 --> 
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
        </property>

        <!-- 启用自动恢复 --> 
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>
     
        <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
        <property>
            <name>yarn.resourcemanager.store.class</name>     
            <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>

    2. 将yarn-site.xml文件进行分发

    my_rsync /opt/module/ha/hadoop-3.1.3/etc/hadoop/yarn-site.xml


    3. 在任意的机器上启动yarn 
      

    start-yarn.sh


    4. 通过访问web地址验证
    
    5. 测试Yarn故障自动转移
    
    
联邦架构（了解）
    1.当集群中数据量超级大时，NameNode的内存成了性能的瓶颈，所以提出了联邦机制
    2.联邦机制原理：
      将NameNode划分成不同的命名空间并进行编号。不同的命名空间之间相互隔离互不干扰。
      在DataNode中创建目录，此目录对应命名空间的编号。由此，
      编号相同的数据由对应的命名空间进行管理

        128G * 1024(M) * 1024(KB) * 1024(bety) / 150 = xxx
        xxx * 256M = yyy
        yyy / 1024(G) / 1024(TB) / 1024(PB) = 200 左右PB的数据
    
    
       

秋栗圆圆
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3以及高可用HA搭建方式.zip
07-10
01_hadoop简介 05_hadoop3.0开篇介绍 06_hadoop3的新特性 07_伪分布式安装1 08_伪分布式安装2 09_伪分布安装3 10_ha高可用搭建
修改core-site.xml配置文件
热门推荐
ViMan1204的博客
04-02 3万+
前言 配置Hadoop的主要5个文件 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的...
Linux修改hadoop配置文件及启动hadoop集群详细步骤_在linux如何进入hadoop
最新发布
2401_84166436的博客
04-08 891
数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**[外链图片转存中…(img-2K8dwucx-1712527807800)][外链图片转存中…(img-dvn2VB7H-1712527807800)][外链图片转存中…(img-6Z9wXnKs-1712527807800)][外链图片转存中…(img-PUxtzPGE-1712527807801)][外链图片转存中…(img-wAoxYuPd-1712527807801)]
Hadoop core-site.xml 配置项列表
weixin_30492047的博客
11-27 410
core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值 官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml 以下表格中专业词简...
hadoop的配置文件的修改
Xxiangz_619的博客
10-05 671
-为secondary namecode配置所在的IP和端口-->-- 指定yarn集群的管理者（resourcemanager）的地址 -->-- 指定MapReduce运行时框架，这里指定在yarn上-->--用于指定namenode地址在机器master上-->--指定HDFS副本的数量，不能超过机器节点数-->核心代码： vim mapred-site.xml。核心代码：vim hdfs-site.xml。核心代码：vim yarn-site.xml。--用于配置hadoop的数据目录-->
Hadoop伪分布式配置
m0_51665742的博客
05-09 997
Hadoop伪分布式配置以及出现的问题和解决方法
Linux下修改只读文件
一缕阳光的博客
08-08 2万+
最近在linux Ubuntu下配置hadoop，遇到了一个只读文件core-site.xml，需要修改其中的内容，但是该文件是只读的。chattr -i 文件 让只读文件可编辑。chattr +i 文件 让文件只读。sudo vim 文件。
配置Hadpoop中遇到的问题及解决办法
qq_51478862的博客
09-30 310
配置中遇到的问题： 注意：每当修改配置文件后都要删除数据文件(rm -r hadoop/tmp/dfs/*),若不知道路径查看hdfs-site.xml配置文件，下面是我的配置文件的路径 vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 删除后再重新格式后再启动 1，若遇到 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using built
巧搭Hadoop完全分布式(五)-Hadoop的配置以及常见权限问题
JiajunBernoulli的博客
02-11 790
文章目录前言避免CentOS中的bug修改配置文件分发文件格式化namenode启动集群常见权限问题以root进行格式化以root进行首次启动 前言 做了这么多准备工作之后，终于正式进入Hadoop的配置了 避免CentOS中的bug 这一步只有CentOS需要做，Ubuntu那些系统不需要 进入etc下的hadoop 1.固定hadoop_env.sh中的JAVA_HOME 2.固定mapr...
Hadoop总结——HDFS
qq_41544550的博客
11-22 1824
Hadoop总结——HDFS
Hadoop分布式环境配置(5)
少年小子的博客
05-03 330
在 CentOS7 系统快速配置Hadoop，仅需配置主节点，配置完成后将Hadoop文件及jdk文件发送给从节点，即可完成分布式集群部署，本节主要介绍Hadoop文件配置
HadoopHA高可用完全分布式搭建
01-07
1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及ZookeeperZookeeper环境...
hadoop高可用搭建文档
10-10
hadoop高可用搭建文档，搭建成功，适用于生产环境，如果高版本，需要对应修改修改即可
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
2021-03-14
j2911578229的博客
03-14 135
1 hadoop的安装 一、我们的配置文件是这样的： export JAVA_HOME=/usr/local/src/jdk export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/bin/dt.jar:$JAVA_HOME/lib/tools.jar 二、安装hadoop 三、 hadoop集群配置 1） 修改配置文件进入/usr/local/src/Hadoop/etc/Hadoop/下修改配置文件 修改hadoop-
在运行hadoopdb\hive\hadoop源码时不能正确调用自定义core-site.xml等配置文件
duguduchong的专栏
05-29 4145
一 前言 在hadoopdb\hive\hadoop源码中，会有很多的测试主程序 ，而这些测试主程序通常都要用到configuration,即 new JobConf(conf)时初始化configuration对象，如果直接运行这些程序 ，可能会出现 只读取jar包中的配置文件 ，并不读取在conf路径下重新定义的新配置文件。 二 解决方案 记得在项目的classpat
【Hadoop】 Hadoop集群搭建
qq_45596525的博客
05-25 497
Hadoop集群搭建 将下载好的hadoop压缩包上传到主节点服务器 $ tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local # 解压到/usr/local中 $ cd mv ./hadoop-3.3.1/ ./hadoop # 将文件名改为hadoop $ sudo chown -R humpy ./hadoop # 修改权限，当前是什么用户登录，就给他赋予用户的权限 STEP1 Java环境准备 由于Hadoop的安装是需要使用到Java环境的，因此在服务器上需要配
Hadoop集群配置文件修改
2301_77261170的博客
10-06 254
注：打开网页需要关闭防火墙 systemctl stop firewalld.service。首次启动需要格式化namenode,格式化后可以在hadoop目录下发现logs和data文件夹。永久关闭 systemctl disable firewalld.service。为secondary namenode配置IP和端口。指定MapReduce运行框架，我们指定在yarn上。打开hadoop目录下的sbin下输入启动代码。指定hdfs副本数量（不能超过机器节点数）
hadoop高可用集群搭建
02-21
Hadoop是一个分布式的大数据处理框架，为了保证Hadoop集群的高可用性，我们需要搭建一个高可用的Hadoop集群。 下面是一个基本的Hadoop高可用集群搭建流程： 1. 配置Hadoop集群的基础环境，包括安装JDK、SSH、NTP等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值