Hadoop高可用集群搭建步骤

最新推荐文章于 2024-05-13 12:19:55 发布
最新推荐文章于 2024-05-13 12:19:55 发布
阅读量281 收藏
点赞数 1
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_72027307/article/details/130860229
版权

本文档为三台虚拟机搭建hadoop高可用环境的步骤。

首先规划三台机器的IP地址：

在vmvare中菜单上点击编辑-虚拟编辑器-nat设置,可以看到网段和网关

 

master: 192.168.152.100

slave01: 192.168.152.101

slave02: 192.168.152.102

三台虚拟机的机器配置如下图所示：

主机名

IP

安装的软件

运行进程

master        

192.168.152.100

Jdk,hadoop,zk

NameNode,DFSZKFailoverController(zkfc)

JournalNode,QuorumpeerMain

salve01      

192.168.152.101

Jdk,hadoop,zk

NameNode,DFSZKFailoverController(zkfc)

Resourcemanager,NodeManager,JournalNode

dataNode,QuorumPeerMain

salve02      
最低0.47元/天 解锁文章
库三岁
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3183
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2646
HDFS HA 高可用搭建详细图文教程
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3527
Hadoop集群搭建详细教程
2024年Hadoop之Ha高可用搭建教程_启动hadoop高可用集群(1)，2024年最新字节跳动大数据开发面试凉凉经
最新发布
2401_84166147的博客
05-13 921
位置：vi /.bash_profile添加环境变量。
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 2277
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 7960
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1577
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新大数据开发面试基础知识
2401_84164649的博客
04-15 505
其他的 Standby 状态的NameNode 不能自动切换为 Active状态。(img-S6hPoEyW-1713129485671)]在初始化前要先启动三台节点的zookeeper，并关闭防火墙。如果不安装这个程序包，自动转移故障机制无法进行 fence。(5)start-dfs.sh 和 stop-dfs.sh。先创建存放ZK的数据文件和配置文件的zkdata目录。配置zoo.cfg文件，在文件中添加下面内容。位置：vi /.bash_profile。在zkdata目录中创建myid并修改。
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
手动搭建hadoop高可用
03-09
手动搭建hadoop集群（包括hadoop的Ha好可用），零基础教程
分布式集群高可用搭建整理
05-30
hadoop安装的整理：hadoop高可用性集群配置，整合了包含hadoop，hbase等集群的安装的配置文件的设置
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
Hadoop 3.0 分布式集群搭建（HA）详细文档 ...本资源摘要信息提供了详细的 Hadoop 3.0 分布式集群搭建步骤和要求，涵盖了从搭建前的准备工作到集群的安装和配置的所有方面，为读者提供了详细的参考资料。
hadoop高可用集群搭建
qq_24625795的博客
12-09 383
启用高可用把主节点生成的data文件夹传到slave1中：scp -r data slave1:/usr/apps/ha-hadoop/hadoop-2.7.1/slave1节点： sbin/yarn-daemon.sh start resourcemanager。ssh免密的私钥：scp -r id_rsa slave2:/root/.ssh。启动dfs，可以看到两个namenode启动：sbin/start-dfs.sh。主节点master：sbin/start-yarn.sh。
基于zookeeper的Hadoop集群搭建详细步骤
Helen_1997_1997的博客
02-15 2197
基于zookeeper搭建Hadoop集群
hadoop3 高可用集群
qq_34304427的博客
09-17 1033
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
Hadoop---高可用搭建
飞机的博客
03-09 173
这里以三台虚拟机为例 ant151 / ant152 / ant153。在opt下面创建一个shell目录，在创建一个showjps.sh文件用于存放脚本。在opt下面创建一个shell目录，在创建一个zkop.sh文件用于存放脚本。启动ant151,ant152,ant153的journalnode服务。从 解压 开始到 配置环境变量 的操可提取到一个脚本里面直接操作。同步时间的下面操作三台机都需要。在ant151上面操作。在ant151上面操作。在ant152上操作。
hadoop HA高可用搭建流程
java_boss_的博客
08-17 1043
hadoop HA 部署 高可用集群搭建。
Hadoop高可用集群搭建
04-29
Hadoop是一个分布式计算框架，它的高可用性非常重要。在Hadoop集群中，如果一个节点宕机或出现故障，会影响整个集群的运行。因此，为了保证Hadoop集群的高可用性，需要搭建高可用集群。以下是Hadoop高可用集群搭建的步骤： 1. 安装ZooKeeper ZooKeeper是Hadoop集群高可用性的核心组件。在Hadoop 2.x版本中，ZooKeeper是必须的。因此，需要先安装ZooKeeper。 2. 配置ZooKeeper 在ZooKeeper中，需要配置一些参数，如集群节点的IP地址、端口号等。这些参数将用于确保ZooKeeper在Hadoop集群中的正常运行。 3. 配置Hadoop 在Hadoop中，需要配置一些参数以确保Hadoop与ZooKeeper的正确交互。需要修改hdfs-site.xml和core-site.xml文件。 4. 配置NameNode的高可用性 NameNode是Hadoop集群中的关键组件之一。为了确保NameNode的高可用性，需要将其配置为Active-Standby模式。这意味着在一个节点宕机时，另一个节点将成为Active节点，继续处理请求。 5. 配置ResourceManager的高可用性 ResourceManager是YARN的关键组件之一，它管理着整个集群的资源。为了确保ResourceManager的高可用性，需要将其配置为Active-Standby模式。这意味着在一个节点宕机时，另一个节点将成为Active节点，继续处理请求。 6. 测试集群 最后，需要测试Hadoop集群的高可用性。可以通过关闭某个节点来模拟节点宕机的情况，然后观察Hadoop集群的行为。 以上是Hadoop高可用集群搭建的步骤。通过这些步骤，可以确保Hadoop集群的高可用性，提高整个集群的稳定性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

库三岁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值