HA高可用与Yarn高可用的搭建

最新推荐文章于 2023-09-28 15:03:51 发布
最新推荐文章于 2023-09-28 15:03:51 发布
阅读量302 收藏 2
点赞数
分类专栏： 大数据专栏。 文章标签： hadoop ssh big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l_dsj/article/details/120462711
版权

目录

（HDFS）HA高可用搭建

在这里插入图片描述
（在这之前要做完防火墙关闭、映射配完、jdk搭建完成等基础操作）

  • 免密登录
    master、node1分别免密登录
    ssh-keygen -t rsa
    ssh-copy-id -i master
    ssh-copy-id -i node1
    ssh-copy-id -i node2
    在这里插入图片描述
  • 修改配置文件
    core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/modules/hadoop-2.7.6/tmp</value>
	</property>
	<property>
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>
	<property>
	      <name>ha.zookeeper.quorum</name>
	      <value>master:2181,node1:2181,node2:2181</value>
	</property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定hdfs元数据存储的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/modules/hadoop-2.7.6/data/namenode</value>
</property>

<!-- 指定hdfs数据存储的路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/modules/hadoop-2.7.6/data/datanode</value>
</property>

<!-- 数据备份的个数 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!-- 关闭权限验证 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<!-- 开启WebHDFS功能（基于REST的接口服务） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!-- //////////////以下为HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名称为mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>

<!-- 指定cluster的两个namenode的名称分别为nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>

<!-- 配置nn1,nn2的rpc通信端口 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>

<!-- 配置nn1,nn2的http通信端口 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:50070</value>
</property>

<!-- 指定namenode元数据存储在journalnode中的路径 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>

<!-- 指定journalnode日志文件存储的路径 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/modules/hadoop-2.7.6/data/journal</value>
</property>

<!-- 指定HDFS客户端连接active namenode的java类 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制为ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<!-- 指定秘钥的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!-- 开启自动故障转移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>
  • 分别同步到node1、node2
    scp * node1:/opt/modules/hadoop-2.7.6/etc/hadoop/
    scp * node2:/opt/modules/hadoop-2.7.6/etc/hadoop/
    在这里插入图片描述
  • 删除hadoop数据存储目录下的文件 每个节点都需要删除（删除之前hdfs上的元数据信息和真实数据信息，搭建高可用，不要让之前的数据影响现在数据的使用）
    rm -rf /opt/modules/hadoop-2.7.6/tmp
  • 三台机器都启动zookeeper
    zkServer.sh start
  • 启动JN 存储hdfs元数据
    三台JN上执行 启动命令：
    hadoop-daemon.sh start journalnode
    这时候每一台机器都应该有这些节点，因为这时候zookeeper已经启动了，JN也存在了
    在这里插入图片描述
  • 格式化 在一台NN上执行（我选择master）
    hdfs namenode -format
    启动当前的NN
    hadoop-daemon.sh start namenode

格式完之后，可以看到master机器上面一大串日志文件里面出现了这个
在这里插入图片描述

  • 执行同步 没有格式化的NN上执行 在另外一个namenode上面执行（node1执行）
    hdfs namenode -bootstrapStandby

  • 格式化ZK 在已经启动的namenode上面执行（master）
    ！！一定要先 把zk集群正常 启动起来
    hdfs zkfc -formatZK
    （一直到这一步做完都还没有监听者出现，因为你还没有开启剩下的服务）

  • 启动hdfs集群,在启动了namenode的节点上执行
    start-dfs.sh
    启动完之后：
    master：
    在这里插入图片描述
    node1：
    在这里插入图片描述
    node2：
    在这里插入图片描述

这个时候我们就可以看到主节点：
在这里插入图片描述
备用节点：
在这里插入图片描述
现在我们把master给搞挂掉
sbin/hadoop-daemon.sh stop namenode
在这里插入图片描述
node1就变成了active
在这里插入图片描述

Yarn高可用搭建

1、修改配置文件
yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
<!-- NodeManager上运行的附属服务，需配置成mapreduce_shuffle才可运行MapReduce程序 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->
<property>
<name>yarn.web-proxy.address</name>
<value>master:8888</value>
</property>

<!-- 开启日志 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 配置日志删除时间为7天，-1为禁用，单位为秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<!-- 修改日志目录 -->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/logs</value>
</property>

<!-- 配置nodemanager可用的资源内存 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>

<!-- 配置nodemanager可用的资源CPU -->
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>

<!-- //////////////以下为YARN HA的配置////////////// -->
<!-- 开启YARN HA -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<!-- 启用自动故障转移 -->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- 指定YARN HA的名称 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarncluster</value>
</property>

<!-- 指定两个resourcemanager的名称 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<!-- 配置rm1，rm2的主机 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node1</value>
</property>

<!-- 配置YARN的http端口 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>	
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>node1:8088</value>
</property>

<!-- 配置zookeeper的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,node1:2181,node2:2181</value>
</property>

<!-- 配置zookeeper的存储位置 -->
<property>
<name>yarn.resourcemanager.zk-state-store.parent-path</name>
<value>/rmstore</value>
</property>

<!-- 开启yarn resourcemanager restart -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!-- 配置resourcemanager的状态存储到zookeeper中 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<!-- 开启yarn nodemanager restart -->
<property>
<name>yarn.nodemanager.recovery.enabled</name>
<value>true</value>
</property>

<!-- 配置nodemanager IPC的通信端口 -->
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:45454</value>
</property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定MapReduce计算框架使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<!-- 指定jobhistory server的rpc地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>

<!-- 指定jobhistory server的http地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>

<!-- 开启uber模式（针对小作业的优化） -->
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>

<!-- 配置启动uber模式的最大map数 -->
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>

<!-- 配置启动uber模式的最大reduce数 -->
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
</configuration>

同步到所有节点
scp * node1:/opt/modules/hadoop-2.7.6/etc/hadoop/
scp * node2:/opt/modules/hadoop-2.7.6/etc/hadoop/

2、启动yarn 在master启动
start-yarn.sh

3、在另外一台主节点上启动RM
yarn-daemon.sh start resourcemanager

这时候应该启动了所有的节点（16个）
master：
在这里插入图片描述
node1：
在这里插入图片描述

node2：
在这里插入图片描述

两个小注意点

在这里插入图片描述

感谢阅读，我是啊帅和和，一位大数据专业大四学生，祝你快乐。

啊帅和和。
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
YARN 高可用
m0_72324953的博客
01-09 841
YARN 高可用实质上就是 ResourceManager HA
Hadoop生态圈（三十六）- YARN High Availability（HA）高可用集群
程序园@大Null
02-11 1596
YARN高可用集群搭建，HDFS高可用集群搭建，Zookeeper高可用集群搭建，Hadoop高可用集群搭建，故障转移原理，高可用 HA 架构
Yarn高可用架构
龙飞的博客
07-22 3030
Yarn高可用架构重温 解决NameNode单点故障问题 ​ ResoueceManager：负责整个集群的资源统筹和管理（只有一个active状态，另外一个为standby状态，active的挂掉之后，standby切换为active，之后active挂掉的节点重新加入集群会处于standby） ​ NameNode：一个中心服务器，负责管理文件系统的namespace以及客户端对文件的访问。NameNode执行文件系统的namespace操作，比如打开、关闭、重命名目录或文件，同时它还确定
YARN高可用部署
weixin_47260194的博客
02-26 1010
YARN HA集群部署
YARN的高可用
最新发布
Z_Data的博客
09-28 259
HA表示高可用，YARN的HA主要指ResourceManager的HA，因为ResourceManager作为主节点存在单点故障，所以要通过HA的方式解决ResourceManager单点故障问题。
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
HA和Yarn高可用的搭建.txt
09-24
HA和Yarn高可用的搭建.txt
配置高可用的Hadoop平台
03-03
这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。将下载好的安装包解压到/usr/java/jdk1.7，然后设置环境变量，命令如下：然后编辑...
Hadoop之高可用集群的安装.docx
05-12
完成上述步骤后，Hadoop的高可用集群就已搭建完毕。所有相关服务进程应能正常启动，HDFS可以正常工作，MapReduce示例程序也能顺利运行。在实际操作中，务必注意每个步骤的细节，确保集群的稳定性和数据的可靠性。在...
yarn高可用
qq_45275284的博客
03-25 157
1.在Zookeeper上会有一个/yarn-leader-election/yarn1的锁节点，所有的ResourceManager在启动的时候，会去竞争写一个Lock子节点：/yarn-leader-election/yarn1/ActiveBreadCrumb，该节点是临时节点。创建成功的ResourceManager切换为Activate，没有成功的为Standby状态。重新构建作业的内存信息，启动内部服务，开始接受NM的心跳信息，构建集群的资源信息，并接受客户端的作业请求。
HadoopHA高可用集群配置 yarn-site.xml master2
07-07
HadoopHA高可用集群配置 yarn-site.xml master2
HadoopHA高可用集群配置 yarn-site.xml
07-07
HadoopHA高可用集群配置 yarn-site.xml yarn两台namenode配置不同
yarn-HA(高可用)配置
qq_57193542的博客
09-29 1097
在我上一篇文章中已经配置好了HDFS的高可用，接下来我们来配置yarn的高可用，其实很简单，只需要改一个yarn-site.xml配置文件即可（本文需要已经配好Hadoop集群 zookeeper集群，未配好请跳转我上一篇文章HDFS HAhttps://blog.csdn.net/qq_57193542/article/details/120535500） yarn-site.xml配置如下 <configuration> <!-- 指定 MR 走 shuffle -->
Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用
ly660402的博客
03-30 1279
目录 一、Hadoop高可用 1、zoomkeeper集群部署 2、hdfs高可用 一、Hadoop高可用 在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于 Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作； 而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢 复。 为了让 Standby NN ...
Hadoop高可用环境搭建-HDFSNameNode高可用搭建、Yarn高可用搭建
遇安的博客
11-22 1717
本文详细的写有：hadoop HDFSNameNode高可用环境搭建、Yarn高可用环境搭建的步骤。
YARN 高可用机制
weixin_30491641的博客
01-10 1342
YARN 的高可用：ResourceManager : 基于Zookeeper 实现高可用机制，避免单点故障。 NodeManager: 执行失败之后，ResourceManager 将失败任务告诉对应的ApplicationMaster , 由ApplicationMaster 来决定如何处理失败的任务。 ApplicationMaster: 执行失败之后，由ResourceMan...
大数据理论与实践 源码分析 YARN高可用机制
mxb1234567的博客
11-21 1349
对于YARN的介绍，可以参考之前的文章： 大数据理论与实践4 分布式资源管理系统YARN RM高可用 ResourceManager (RM) 负责跟踪集群中的资源，并调度应用程序
YARN 的高可用设计有哪些？
Shockang的博客
06-21 817
YARN 提供了恢复机制，这使得 YARN 在服务出现故障或人工重启时，不会对正在运行的应用程序产生任何影响。本文将从 ResourceManager HA、 ResourceManager Recovery 和 NodeManager Recovery 三个方面讨论 YARN 高可用方面的设计。ResourceManager 负责集群中资源的调度和应用程序的管理，是 YARN 最核心的组件。由于 Y...
4.Yarn模式高可用配置
Leeyehong_self的专栏
03-22 1122
1.Yarn模式下的高可用配置 1.1 yarn session方式中的JobManager HA 1.1.1 说明 针对于session方式才有JobManager的HA 因为Flink集群启动后一直驻留在yarn中，针对于JobManager进程，需要其HA，否则集群没有leader，就瘫痪了 per job方式，不需要配置JobManager的HA，内部复用的是standalone JobM...
06大数据技术之Hadoop（HA）V3.2.docx
10-31
文档讲述了Hadoop在大数据环境中的高可用性（HA）配置，主要关注Hadoop分布式文件系统（HDFS）和资源调度器YARN的HA实现，以及如何在Hadoop 3.2版本中搭建和管理这样的高可用集群。以下是详细的知识点总结： 1. **...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啊帅和和。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值