高可用 hadoop HA 搭建教程

最新推荐文章于 2024-04-15 05:19:15 发布
最新推荐文章于 2024-04-15 05:19:15 发布
阅读量1.8k 收藏 12
点赞数 17
分类专栏： hadoop 学习之路 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51214928/article/details/121041740
版权

高可用 hadoop HA 搭建教程

1、基础环境配置

基础环境配置

点击跳转基础搭建链接

2、文件配置

配置java路径和hadoop_conf_dir

(1)hadoop.env.sh：

在这里插入图片描述

=========================================================

(2)mapred-env.sh

在这里插入图片描述

=========================================================

(3)yarn-env.sh

在这里插入图片描述

=========================================================

(4)core-site.xml

<!-- 指定zookeeper的存放地址-->
<property>
    <name>ha.zookeeper.quorum</name>
    <value>192.168.120.150:2181,192.168.120.151:2181,192.168.120.152:2181</value>
</property>
<!-- 指定hadoop集群在zookeeper上注册的节点名-->
<property>
    <name>fs.defauFS</name>
    <value>hdfs://mycluster</value>
</property>
<!-- 用来指定hadoop运行时产生的存放目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop01/tmp</value>
</property>
<!--设置缓存大小，默认4kb-->
<property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
</property>

=========================================================

(5)hdfs-site.xml

<!--数据块默认大小128m-->
<property>
    <name>dfs.block.size</name>
    <value>134217728</value>
</property>

<!--副本数量，不配置默认为3-->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!--namenode 数据存放位置-->
<property>
    <name>dfs.name.dir</name>
    <value>/hadoop01/namenode_data</value>
</property>

<!--datanode 数据存放位置-->
<property>
    <name>dfs.data.dir</name>
    <value>/hadoop01/datanode_data</value>
</property>


<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>

<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>

<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>192.168.120.150:9000</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>192.168.120.150:50070</value>
</property>


<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>192.168.120.151:9000</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>192.168.120.151:50070</value>
</property>

<!-- 指定namenode的元数据在Journalnode上的存放数据-->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://192.168.120.150:8485;192.168.120.151:8485;192.168.120.152:8485/mycluster</value>
</property>

<!-- 指定Journalnode本地磁盘的存放数据位置-->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/hadoop01/journalnode</value>
</property>

<!-- 开启namenode故障转移自动切换-->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

<!--配置失败自动切换实现方式-->
<property>
    <name>dfs.client.filover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--hdfs文件操作权限，false为不验证-->
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

<!--配置隔离机制-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
  sshfence
  shell(/bin/true)
  </value>
</property>


<!--使用隔离机制需要ssh免密登录-->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

=========================================================

(6)mapred-site.xml

<!--指定mapreduce运行在yarn上-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!--配置任务历史服务器地址-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.120.150:10020</value>
</property>
<!--配置任务历史服务器web-ui地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.120.150:19888</value>
</property>
<!--开启uber模式-->
<property>
    <name>mapreduce.job.ubertark.enabled</name>
    <value>true</value>
</property>

=========================================================

(7)yarn-site.xml

<!--开启yarn高可用-->
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>

<!--指定yarn集群在zookeeper上注册的节点名-->
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>hayarn</value>
</property>

<!--指定俩个ResourceManager的名称-->
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>

<!--指定rm1的主机 -->
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>192.168.120.151</value>
</property>

<!-- 指定rm2的主机-->
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>192.168.120.152</value>
</property>

<!-- 开始yarn恢复机制-->
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>

<!-- 配置zookeeper的地址-->
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>192.168.120.150:2181,192.168.120.151:2181,192.168.120.152:2181</value>
</property>

<!-- nodemanager获取数据的方法方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 配置执行ResourceManager恢复机制实现类-->
<property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<!-- 指定主resourcemanager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.120.152</value>
</property>

=========================================================

3、 解释说明

前提必须要有zookeeper
hadoop2.6.0
zookeeper3.4.5
192.168.120.150 ===> master 或者 hadoop(文章里面可能带有相关字眼)
192.168.120.151 ===> slave1
192.168.120.152 ===> slave2

4、相关命令：

启动zookeeper（初始化工作）
zkServer.sh start 三台机子都要启动
zkServer.sh status 查看zk状态

hadoop-daemon.sh start journalnode  启动journalnode，三台都要使用

hdfs namenode -format  格式化(仅master)

hdfs namenode -bootstrapStandby   同步namenode数据，slave1使用

或者把
hadoop01目录下的namenode_data发送到slave1

scp /hadoop01/namenode_data slave1:/hadoop/namenode_data

hdfs zkfc -formatZK 复制Namenode节点后(在master或者slave1)格式化zkfc

start-dfs.sh    在master中启动hdfs相关服务

start-yarn.sh  在slave2上启动yarn相关服务

启动master的历史任务服务器

mr-jobhistory-daemon.sh start historyserver

启动slave1中的ResourceManager

yarn-daemon.sh start resourcemanager

jps查看端口号，把active的kill
kill -9 端口号
登录web-ui,查看

hdfs haadmin -getServiceState nn1   查看状态
yarn rmadmin -getServiceState rm1  查看状态

启动完成后会看到
master：
在这里插入图片描述
slave1：
在这里插入图片描述
slave2:
在这里插入图片描述

看一下namenode状态
在这里插入图片描述
看一下datanode状态
在这里插入图片描述

5、资源

链接：https://pan.baidu.com/s/1ffrub7pu_zc1SYX-6yBE_w
点击跳转
提取码：6666

伦杰周
关注
  • 17
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
hadoop HA高可用搭建流程
java_boss_的博客
08-17 1044
hadoop HA 部署 高可用集群搭建。
mysql 主从复制 + mycat读写分离搭建
weixin_40386333的博客
12-17 359
一、Mycat简介 1. Mycat是什么？ 从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的Server，前端用户可以把它看做是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分库分表，即将一个大表水平分割为N个小表，存储...
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新大数据开发面试基础知识
最新发布
2401_84164649的博客
04-15 508
其他的 Standby 状态的NameNode 不能自动切换为 Active状态。(img-S6hPoEyW-1713129485671)]在初始化前要先启动三台节点的zookeeper，并关闭防火墙。如果不安装这个程序包，自动转移故障机制无法进行 fence。(5)start-dfs.sh 和 stop-dfs.sh。先创建存放ZK的数据文件和配置文件的zkdata目录。配置zoo.cfg文件，在文件中添加下面内容。位置：vi /.bash_profile。在zkdata目录中创建myid并修改。
Hadoop中HA模式配置（HDFS HA&YARN HA）
TomAndersen的博客
02-26 696
1.前言 Hadoop版本：2.7.7 Zookeeper版本：3.4.14 Java版本：1.8.0_221 Hadoop HA模式分为HDFS HA（NameNode HA）和YARN HA（ResourceManager HA）两个部分 在本次配置中同时配置了HDFS HA和YARN HA下的自动故障转移Automatic Failover，以及历史服务器JobHistoryServer ...
YARN基本介绍与HA
swg321321的博客
08-10 700
YARN 基本介绍和HA用原理：包含Resource Manger(资源管理器)、Scheduler(调度器)、Applications Manger(应用程序管理器)、 Application Master、Node Manger、Container(容器)
hadoop集群HA模式(JN+ZK)+yarn搭建
yyaijunji的博客
03-20 1170
hadoop集群HA模式(JN+ZK)搭建 角色\服务器 node01 node02 node03 node04 zookeeper √ √ √ journalnode √ √ √ namenode √ √ datanode √ √ √ 一、环境准备 准备4台服务器，node01\node02\node03\node04 node01能免密登录其他3台服务器，node02能免密登录node01 zk集群 二、应用搭建 安装ZK集群 #------------
HadoopHA高可用完全分布式搭建
01-07
1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及ZookeeperZookeeper环境...
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
hadoopHA搭建资源包
04-01
总的来说，这个资源包提供了一套完整的Hadoop HA搭建基础，涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试，你可以构建一个可靠的Hadoop集群，为大数据处理提供稳定的平台。在实际操作中，还需要...
大数据技术之HadoopHA视频教程
07-08
HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，...
Hadoop之YARN HA架构剖析
君永夜
04-02 364
1.YARN HA架构图 注意：0.客户端还是通过namenode去寻找能进行访问的active节点，图中暂时未画　　　1.这里是zkfc是 RM中的线程　　　2.RM是通过ZK来共享数据，默认目录 /rmstore　＃配置：yarn.resourcemanager.zk-state-store.parent-path =/rmstore　　　3.NM 只会向 R...
Hadoop HA平台搭建
jerryhuang12的博客
08-02 720
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8189
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1586
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
hadoopHA搭建
互联网知识分享
07-19 248
关于理论部分，Hadoop HA 主要是通过引入 Standby NameNode，以及使用 Zookeeper 进行选举，解决了 Hadoop 1.x 中 NameNode 的单点故障问题。在 HA 架构中，Active NameNode 和 Standby NameNode 都有完整的文件系统元数据，而 Standby NameNode 会不断的从 Active NameNode 同步状态。：在每台机器上配置 ssh 免密码登录，以便 Hadoop 的各个组件可以在机器之间通信。将公钥复制到其他机器。
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 6480
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2726
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
Hadoop HA 搭建
不搞数学的汤老师
05-03 3139
前言 环境介绍 虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 Hadoop 版本：3.2.3 ZK 版本：3.8.0 实验机搭建 HA 概述 HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA。 DN 和 NM 本身就会起多个，所以不存在单点 2NN 用以整合 Image 和 Edit，做 HA 后，处于 stand
9、hadoop高可用HA集群部署及三种方式验证
05-29
HA集群规划 在部署Hadoop高可用（HA）集群之前，首先需要进行规划。本文将以三节点的HA集群为例进行介绍，其中...通过本文提供的步骤和方法，可以帮助您快速搭建一个高可用的Hadoop集群，并确保数据的安全和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

伦杰周

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值