Hadoop高可用集群HA的安装

已于 2022-12-07 18:57:17 修改
阅读量634 收藏 2
点赞数
分类专栏： Hadoop集群搭建及实例应用 文章标签： hadoop 大数据 hdfs 分布式 mapreduce
于 2022-12-07 16:55:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52940881/article/details/128220977
版权

目录

1.Hadoop安装

2.Hadoop的配置文件编写

 2.1 Hadoop-env.sh

2.2workers文件

2.3 core-site.xml文件

2.4  hdfs-site.xml 文件

 2.5 yarn-site.xml

2.6 mapred-site.xml

3.在环境变量中配置Hadoop的环境

4.将Hadoop和环境配置文件分发到hadoop2和hadoop3中

5.HA集群初次启动

1.Hadoop安装

我们依照之前规划的集群进行搭建。

不明白可以去的集群架构中查看

生成集群其他的虚拟机并进行相关准备_EEEurekaaa！的博客-CSDN博客

这里采用的Hadoop版本是3.1.4，不要选择太新的版本

安装包可以直接去官网下载

首先要安装Hadoop

先把安装包放入software文件夹中

把该文件包解压到servers路径下

 tar -xvzf hadoop-3.1.4.tar.gz -C ../servers/

2.Hadoop的配置文件编写

我们需要对这6个文件进行修改

 2.1 Hadoop-env.sh

这个文件主要是规定服务器中jdk的位置

以及hdf和yarn的操作用户

代码如下：

2.2workers文件

指定集群中工作的服务器名

 

2.3 core-site.xml文件

核心调度文件

configuration处添加如下代码

<configuration>
	<!--用于设置Hadoop的文件系统-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--用于设置Hadoop的临时文件目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/data/hadoop/tmp</value>
	</property>
	<!--设置zookeeper-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadooop1:2181,hadoop2:2181,hadoop3:2181</value>
	</property>
</configuration>

2.4  hdfs-site.xml 文件

hdfs的详细配置 namenode datanode 和journalnode。。

代码较长这里直接全部粘贴过来：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!--用于设置hadoop的HDFS的副本的数目-->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>	
	<!--用于设置hadoop的namenode的name数据的目录-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/export/data/hadoop/name</value>
	</property>
	<!--用于设置hadoop的datanode的data数据的目录-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/export/data/hadoop/data</value>
	</property>	
	
	<!--开启webHDFS-->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<!--指定nameservice为ns1-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!--指定ns1下面有两个namenode，nn1和nn2	-->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!--指定nn1的rpc地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>hadoop1:9000</value>
	</property>
	<!--指定nn1的http地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>hadoop1:50070</value>
	</property>
	<!--指定nn2的rpc地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>hadoop2:9000</value>
	</property>
	<!--指定nn2的http地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>hadoop2:50070</value>
	</property>
	<!--指定nm的元数据在journalnode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/ns1</value>
	</property>
	<!--指定nn2的http地址 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/export/data/hadoop/journaldata</value>
	</property>
	<!--开启namenode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置namenode失败自动切换的实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--配置隔离机制的方法-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!--开启sshfence隔离的免登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--开启sshfence隔离的超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

</configuration>

 2.5 yarn-site.xml

直接贴代码

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>	
	<!--用于设置hadoop的yarn是否需要辅助shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
	    <name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
	    <name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>		
    <!--是否开启RM ha，默认是开启的-->  
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>
    <!--声明两台resourcemanager的地址-->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>        
    </property>
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>
    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>hadoop1</value> 
    </property>  
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>hadoop2</value>  
    </property>  

    <!--指定zookeeper集群的地址-->   
    <property>  
       <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>  
    <!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->
    <property>  
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>  
    </property>  
    <!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->
    <property>  
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 
	<!--处理高可用状态下的yarnweb的端口-->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop1:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop2:8088</value>
	</property>
</configuration>

2.6 mapred-site.xml

<configuration>
	<!--用于设置MapReduce的运行框架为yarn-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.1.4/</value>
	</property>
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.1.4/</value>
	</property>
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.1.4/</value>
	</property>
</configuration>

3.在环境变量中配置Hadoop的环境

vi /etc/profile

#HADOOP环境变量配置
export HADOOP_HOME=/export/servers/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.将Hadoop和环境配置文件分发到hadoop2和hadoop3中

scp -r hadoop-3.1.4 hadoop2:/export/servers/
scp -r hadoop-3.1.4 hadoop3:/export/servers/
scp /etc/profile hadoop2:/etc/
scp /etc/profile hadoop3:/etc/

并使Hadoop的环境变量生效

5.HA集群初次启动

先启动zookeeper

 启动各节点监控NM的管理日志JournalNode

注意以上两步操作分别要在三台虚拟机上操作，后续journalnode在启动hdfs时会同时启动 

在hadoop1上格式化NM，并将格式化后的目录复制到hadoop2中

在hadoop1上格式化ZKFC

 

 之后启动hdfs

启动yarn

 

启动成功 

这说明安装时成功的，后续启动时先启动zookeeper之后再启动hdfs和yarn即可

EEEurekaaa！
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
centos7搭建hadoop高可用(ha)集群
greatxiaoting的专栏
09-18 1173
hadoop高可用(ha)集群实现目标： s101和s105设置为名称节点，可以互相切换为active状态； s102~104设置为数据节点和journalnode节点。 准备工作： centos7搭建hadoop分布式集群，参考文章：https://blog.csdn.net/greatxiaoting/article/details/81571187 注：hadoop高可用(ha)集...
Hadoop高可用HA集群3.x以上版本安装.docx
08-07
Hadoop高可用集群安装是指在四个节点上安装Hadoop完全分布式集群，包括zookeeper、Kafka、mysql、Hive、Spark等相关组件。以下是安装过程中的关键步骤和知识点： 1. 安装Hadoop分布式集群：Hadoop分布式集群是指将...
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1615
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
Hadoop生态系统HA安装（详细教程）
2301_77836489的博客
06-06 704
Hadoop生态系统zookeeper安装（详细教程）
Ha 高可用hadoop集群安装
ENCCDY的博客
11-14 965
2.7.3高可用hadoop集群安装
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2613
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
hadoop HA高可用集群实战
有勇气的牛排博客
10-12 1344
HA（high available），即高可用（24h不中断服务）实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF）NameNode主要存在以下两个方敏影响HDFS集群。NameNode机器发生意外，如宕机，集群无法使用，直到管理员重启。NameNode机器需要升级，包括软件，硬件升级，此时集群也将无法使用。
Hadoop HA 高可用集群详解
m0_67390969的博客
09-02 262
HA（）即高可用（7*24小时不中断服务），实现高可用最关键的策略就是消除单点故障。HA严格地来说应该分成各个组件的HA机制，HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFSNameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用HDFS HA功能通过配置两个NameNodes实现在集群中对NameNode。
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4361
一文带你了解Hadoop的HA高可用搭建!
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3970
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
9、hadoop高可用HA集群部署及三种方式验证
热门推荐
alanchanchn的专栏
04-24 4万+
本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证前提依赖：1、前提是zookeeper已经部署好，其服务器部署在server1、server2、server3上，且能正常运行2、ssh免登录已完成配置，且完成NameNode和NameNode的相互免密，比如server1和server2是两个NameNode，其相互已经免密。
Hadoop之高可用集群的安装.docx
05-12
【Hadoop高可用集群安装详解】 Hadoop是一个开源的分布式计算框架，其高可用性是通过复制和故障切换机制来保证服务的连续性和数据的安全性。在这个实验项目中，我们将探讨如何在完全分布式模式下安装和配置Hadoop的...
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
hadoop HA高可用性完全分布式集群安装
11-05
### hadoop HA高可用性完全分布式集群安装 在大数据处理领域，Hadoop作为一个开源软件框架，主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性，Hadoop提供了高可用性（High Availability，简称...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1661
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
最新发布
qq_58462591的博客
08-01 239
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 622
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Hadoop 3.x高可用HA集群安装指南
"Hadoop高可用HA集群3.x以上版本安装，包括4节点的完全分布式配置，涉及组件有zookeeper、Kafka、mysql、Hive、Spark等。文档提供了网络配置信息，如IP地址、子网掩码、网关和DNS，并列出了服务器的硬件信息，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EEEurekaaa！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值