大数据——hadoop高可用集群搭建

最新推荐文章于 2023-05-29 14:17:31 发布
最新推荐文章于 2023-05-29 14:17:31 发布
阅读量539 收藏 3
点赞数 2
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsjia2970727/article/details/108467776
版权

hadoop高可用集群搭建

配置HDFS-HA集群

主机名ip地址namenodeQuorumPeerMainJournalNodeNodeManagerJobHistoryServerDataNodeDFSZKFailoverControllerResourceManager
hadoop01192.168.136.35√√√√√√√√
hadoop06192.168.136.39√√√√√√√
hadoop07192.168.136.40√√√√
  • 在主节点hadoo01中配置core-site.xml：
<!--默认节点为namenode集群-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns</value>
  </property>
<!-- hdfs的临时文件的目录  -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
<!--指定zookeeper地址-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop01:2181,hadoop06:2181,hadoop07:2181</value>
   </property>
<!-- 其他机器的root用户可访问 -->
  <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
  </property>
<!-- 其他root组下的用户都可以访问 -->
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
  </property>
  • 在主节点hadoop01中配置hdfs-site.xml：
<!--节点数，ha中可不配置-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
<!--指定名称服务，与core-sitexml中的一致-->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
  </property>
<!--指定名称下的namenode节点-->
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>hadoop01,hadoop06</value>
   </property>
<!--rpc地址，9000端口-->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop01</name>
    <value>hadoop01:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop06</name>
    <value>hadoop06:9000</value>
  </property>
<!--http地址,50070端口，即页面地址-->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop01</name>
    <value>hadoop01:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns.hadoop06</name>
    <value>hadoop06:50070</value>
  </property>
<!--namenode在journalnode(datanode)上存放数据的端口8485-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop01:8485;hadoop06:8485;hadoop07:8485/ns</value>
  </property>
<!--开启namenode失败自动切换-->
   <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
   </property>
<!--设置namenode自动切换方式-->
   <property>
     <name>dfs.client.failover.proxy.provider.ns</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   </property>
<!--设置隔离机制，多个机制换行分隔，每个机制占用一行-->
   <property>
     <name>dfs.ha.fencing.methods</name>
     <value>
       sshfence
       shell(/bin/true)</value>
   </property>
<!--超时设置-->
   <property>
      <name>dfs.ha.fencing.ssh.connect-timeout</name>
      <value>30000</value>
   </property>
   <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
   </property>
<!--当时用HA配置集群，则不需要secondarynamenode
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>192.168.136.35:50090</value>
</property>
-->
  • 在主节点hadoop01中配置mapred-site.xml：
  <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
  </property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.136.35:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.136.35:19888</value>
</property>
  • 在主节点hadoop01中配置yarn-site.xml：
<!--HA配置-->
<!--开启HA-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
<!--指定resourcemanager集群id-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster_id</value>
  </property>
<!--rm集群的名服务-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
<!--指定rm映射关系-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop01</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop06</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop01:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop06:8088</value>
  </property>
<!--配置zookeeper集群-->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop01:2181,hadoop06:2181,hadoop07:2181</value>
  </property>
<!-- Site specific YARN configuration properties -->
<!--非HA模式下指定resourcemanager
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
  </property>
-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
<!-- 日志聚集功能使用 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
<!-- 日志保留时间设置7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

注意：如果之前有配置相同的，就不用再配置一遍了。

  • 保证三台机器一致的状态。
  • 确保集群处于关闭的状态。
  • 把主节点上配置好的文件传输到另外两台机器上：
[root@hadoop01 hadoop]# scp hdfs-site.xml hadoop06:$PWD
[root@hadoop01 hadoop]# scp hdfs-site.xml hadoop07:$PWD
[root@hadoop01 hadoop]# scp core-site.xml hadoop06:$PWD
[root@hadoop01 hadoop]# scp core-site.xml hadoop07:$PWD
[root@hadoop01 hadoop]# scp yarn-site.xml hadoop06:$PWD
[root@hadoop01 hadoop]# scp yarn-site.xml hadoop07:$PWD
  • 三台机器都要返回根目录下的hadoop文件夹：
[root@hadoop01 hadoop]# cd ../..
  • 三台机器都要删除tmp文件夹和logs文件夹：
[root@hadoop01 hadoop]# rm -rf tmp/
[root@hadoop01 hadoop]# rm -rf logs/

启动HDFS-HA集群

  • 三台机器都要启动journalnode：
[root@hadoop01 hadoop]# hadoop-daemon.sh start journalnode
  • 查看一下进程：
[root@hadoop01 hadoop]# jps

在这里插入图片描述

  • 主节点格式化hdfs：
[root@hadoop01 hadoop]# hdfs namenode -format
  • 把主节点上的tmp文件夹传到备用节点的opt目录下的hadoop目录下：
[root@hadoop01 hadoop]# scp -r tmp hadoop06:$PWD

在这里插入图片描述

  • 三台机器移动到zookeeper目录下：
[root@hadoop01 hadoop]# cd /opt/zkpr/
  • 三台机器都要启动zookeeper：
[root@hadoop01 zkpr]# zkServer.sh start
  • 主节点启动整个hadoop集群：
[root@hadoop01 zkpr]# start-all.sh
  • 在备用节点上启动resourcemanager:
[root@hadoop01 zkpr]# yarn-daemon.sh start resourcemanager
  • 主节点格式化zkfc:
[root@hadoop01 zkpr]# hdfs zkfc -formatZK
  • 主备节点启动zkfc：
[root@hadoop01 zkpr]# hadoop-daemon.sh start zkfc
  • 在主节点上启动历史服务：
[root@hadoop01 zkpr]# mr-jobhistory-daemon.sh start historyserver
  • 查看三台机器的进程：
[root@hadoop01 zkpr]# jps

在这里插入图片描述
注意：主节点上除了jps进程要有8个进程，备用节点上除了jps进程要有7个进程，参与高可用的机器上除了jps进程要有4个进程。
到这一步，hadoop高可用集群才算真正的搭建完成。

  • 关闭所有进程
[root@hadoop01 zkpr]# mr-jobhistory-daemon.sh stop historyserver
[root@hadoop01 zkpr]# hadoop-daemon.sh stop zkfc
[root@hadoop01 zkpr]# yarn-daemon.sh stop resourcemanager
[root@hadoop01 zkpr]# zkServer.sh stop
[root@hadoop01 zkpr]# stop-all.sh
蜂蜜柚子加苦茶
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 730
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
拥抱大数据——初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
01-20
HDFS是Hadoop的核心组件，它允许数据以分布式的方式存储在多台服务器上，实现了数据冗余备份，保证了系统的高可用性和容错性。HDFS的基本架构包含NameNode和DataNode，NameNode负责元数据管理，跟踪文件和块的位置...
Hadoop集群搭建遇到的小问题
weixin_44568368的博客
08-18 215
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1.namenode无法启动报连接拒绝 在namenode节点上都启动JournalNode后解决 2.namenode启动
Hadoop的高可用集群搭建
dagebaobao的博客
01-16 1862
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop...
大数据~Hadoop中DFSZKFailoverController没有启动解决办法
feizuiku0116的博客
10-12 3926
一、错误原因 没有配置hdfs-site.xml隔离机制方法(栅栏方法） 二、解决方式 在hdfs-site.xml文件中加入下面代码 <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> ...
【大数据Hadoop】HDFS-HA模式下ZKFC(DFSZKFailoverController)高可用主备切换机制
如切如磋，如琢如磨，臻于至善。
03-26 2564
当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。根据检测出的不同状态之后，会调用enterState方法，在这个方法内部会触发相应状态的回调事件。这2个方法会在HDFS HA自动切换最后被调用。
zookeeper 启动显示started，jps查看进程却没有，DFSZKFailoverController启动显示，jps查看进程却没有的解决方法
Better0417的博客
09-01 9917
有时候Hbase错误关闭，会出现以下问题，主要是Hbase关闭错误，导致zookeeper出错！！！ 如图所示： 输入：zkServer.sh start 显示启动成功，输入jps却找不到zookeeper进程 解决方法：去zkdata文件下查看myid文件 cd /opt/bigdata/hadoop/zookeeper/zkdata vi myid 如图： 查看是否为你原来设置数字，主机1开始，改回原来配置。 再启动zookeeper，发现启动成功 相应的其他myid改为2,3,4问题就解决了 DF
光环大数据培训hadoop体系学习文档
01-27
光环大数据培训的Hadoop体系学习文档是一份珍贵的学习资源，主要涵盖了大数据处理领域的核心框架——Hadoop。Hadoop是Apache软件基金会开发的一个开源项目，它为海量数据的存储和处理提供了分布式计算解决方案。这个...
大数据集群搭建安装包
09-22
这个"大数据集群搭建安装包"包含了进行此类搭建所需的关键组件，让我们一一深入探讨这些组件及其重要性。 首先，JDK（Java Development Kit）是所有Java应用的基础，对于Hadoop等基于Java的大数据框架来说尤其重要...
Hadoop高级编程之构建与实现大数据解决方案
12-10
HDFS是分布式文件系统，它将大型数据集分割成块并分布在多台机器上，确保高可用性和容错性；MapReduce则是并行处理这些数据的编程模型，它将任务分解为映射（Map）和化简（Reduce）两步，使得大规模数据的计算变得...
hadoop-Spark搭建视频教程（自己录制）
07-16
在本套"Hadoop-Spark搭建视频教程"中，我们将深入探讨大数据处理的两个核心组件——Hadoop和Spark的安装与配置。这套教程适用于初学者，旨在帮助他们快速掌握这两个工具的搭建过程，以便进行大数据分析和处理工作。 ...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
最新发布
你不来，再美的天地，都狼藉 ~
05-29 8895
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
启动hadoop集群后，发现两个namenode都是standby的状态。且namenode上没有启动DFSZKFailoverController进程
aspnetxuexiren的博客
08-16 4985
 原因：可能是由于zookeeper格式化未成功；或者是没有启动zookeeper服务。 解决：我这次是由于没有启动zookeeper服务导致。在安装zookeeper的服务上，使用zkServer.sh start启动zookeeper进程。然后在使用start-all.sh启动hadoop集群。 ②启动后，两个namenode都是standby状态，namenode节点上有DFS
启动Hadoop时DFSZKFailoverController没有启动
qq_38304392的博客
08-10 754
在启动Hadoop成功后，并没有报错信息，jps查看进程，发现DFSZKFailoverController没有启动成功，后来发现是因为防火墙的原因，关掉重试就OK了 systemctl stop firewalld ...
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 2328
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
hadoop集群安装 - zookeeper
laohu的博客
06-13 1104
1. 安装zk 下载：Apache Download Mirrors 1.1 解压文件到安装目录 tar -xvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/zhoupu/ 1.2 建立软连接 ln -s /opt/zhoupu/apache-zookeeper-3.6.3-bin /opt/zhoupu/zookeeper 1.3 创建数据文件目录 mkdir -p /srv/data/zookeeper 1.3 编辑zoo.cfg文件 cd
Hadoop分布式集群出错（启动后数据节点缺失）
zhanghaitaocc博客
07-26 2526
在hadoop启动后，使用jps发现各个节点启动正常，如图： 三个节点都正常启动了，可是用浏览器访问50070端口出现： 明明有两个数据节点，显示的只有一个。如果你不断点刷新页面，数据节点的IP地址是会变的，这是什么情况？这是因为你克隆虚拟机时，复制了两个一模一样的hadoop，这就导致了datanode的VERSION里面有2个id是一模一样不能共存，所以只能显示一个数据...
Hadoop集群缺少进程初步解决方案
Quin22的博客
12-23 4297
没有类似截图，口头说的详细点 按我这方法应该能解决大部分问题，如果还不得我也无能为力 这个方法就是把hadoop重置到格式化之前 因为你没格式化之前，上面三项都是不存在的，你格式化后才会出现 通常守护进程缺失或者自己死亡就是因为你格式化次数太多，导致出错，用这个方法可以把hadoop重置到格式化之前 hadoop配置文件中 core-site.xml有一项配置是这么写的 这里配置是为了指定hadoop的临时文件夹 <property> <name&
Docker驱动的Hadoop高可用集群搭建实践
总结来说，这篇文章提供了一套基于Docker的Hadoop高可靠集群部署方案，涉及从主机规划、配置文件优化到网络和容器的启动流程，为开发者在云端或私有环境中搭建高可用Hadoop集群提供了实用的指导。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值