Hadoop的HA模式搭建

于 2024-07-11 18:52:23 发布
阅读量1.1k 收藏 16
点赞数 19
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74934794/article/details/140350720
版权

准备三台虚拟机 bigdata007，bigdata008，bigdata009

1.前置工作

1.修改虚拟机的IP地址和hostname

 

2.配置集群中的ip映射（/etc/hosts）



192.168.111.57 bigdata007
192.168.111.58 bigdata008
192.168.111.59 bigdata009

3.关闭虚拟机的防火墙

4.集群间实现免密登录

ssh root@bigdata007

ssh-keygen -t rsa

ssh-copy-id bigdat007

ssh-copy-id bigdat008

ssh-copy-id bigdat009

每台虚拟机都执行类似操作

2.安装zookeeper

导入安装包，解压到/opt/softs目录

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz  -C /opt/softs/

修改包名 mv apache-zookeeper-3.5.7-bin/ zookeeper3.5.7
cd ../

在/zookeeper3.5.7目录下创建zkData目录，

里面创建文件myid写入id

 

配置文件

进入/opt/softs/zookeeper3.5.7/conf 目录

删除log4j.properties

 上传新的

# 定义日志输出路径
log4j.appender.file.File=/opt/softs/zookeeper3.5.7/logs/zookeeper.log
# 定义日志轮循策略，按天轮循
log4j.appender.file.DatePattern='.'yyyy-MM-dd
log4j.appender.file.append=true
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c{1}:%L - %m%n

重要路径

在
/opt/softs/zookeeper3.5.7 目录下
创建logs目录

修改文件名

zoo_sample.cfg 为 zoo.cfg
 

 

 修改zoo.cfg

添加 

 分发给其他两台虚拟机

scp -r zookeeper3.5.7/ root@bigdata008:/opt/softs/

修改各个虚拟机上的myid

配置环境变量 /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/softs/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin


#ZK_HOME
export ZK_HOME=/opt/softs/zookeeper3.5.7
export PATH=$PATH:$ZK_HOME/bin

 

记得source一下  source /etc/profile
，直接分发

​​​​​​​scp /etc/profile root@bigdata008:/etc/

添加启动脚本

创建目录 /opt/shell

导入脚本

#!/bin/bash

# 在调用shell脚本时，需要传入一个参数，用于标识执行开启或者关闭zk集群的开启关闭和查询状态

#判断调用shell脚本时 是否正常的传入参数

#参数小于1
if [ $# -lt 1 ]
then
  echo "调用该脚本时需要传入一个参数"
  exit ;
fi

#传入的第一个参数 有三种情况
case $1 in 
"start")
	echo "----------启动zk集群----------"
	
	for hostname in bigdata007 bigdata008 bigdata009
do
	echo "-------------$hostname------------"
	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh start"

done
	
;;
"stop")
	echo "----------关闭hadoop集群----------"
		for hostname in bigdata007 bigdata008 bigdata009
do
	echo "-------------$hostname------------"
	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh stop"

done
	
;;	
"status")
	echo "----------查询zk集群状态-------------"
		for hostname in bigdata007 bigdata008 bigdata009
do
	echo "-------------$hostname------------"
	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh status"

done
;;	
*)
	echo "输入的参数不符合脚本运行的规则，请输入start或者stop，status"
;;
esac

将JAVA_HOME=/opt/softs/jdk1.8.0  

写入zkServer.sh

​​​​​​​ 分发给其他虚拟机

scp zkServer.sh root@bigdata008:/opt/softs/zookeeper3.5.7/bin/
 

运行sh /opt/shell/my_zk.sh start 检查脚本是否成功

2.进行集群规划

bigdata007bigdata008bigdata009
hdfsNameNode DataNodeNameNode DataNode DataNode
zk有有有
yarnNodeManagerNodeManager,ResourceManagerNodeManager,ResourceManager

 

 3.上传hadoop安装包

解压

4.修改配置文件

进入目录
/opt/softs/hadoop3.1.3/etc/hadoop

在hadoop-env.sh 中添加

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

		<!-- hdfs地址,ha中是连接到nameservice -->
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://mycluster</value>
		</property>
		
		<!-- 指定hadoop数据的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/softs/hadoop3.1.3/data</value>
		</property>
		
		<!-- 故障转移 -->
		<property>
			<name>ha.zookeeper.quorum</name>
			<value>bigdata007:2181,bigdata008:2181,bigdata009:2181</value>
		</property>
		
		
		<!-- 解决HDFS web页面上删除、创建文件权限不足的问题 -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>root</value>
		</property>

		<property>
			<name>hadoop.proxyuser.root.hosts</name>
			<value>*</value>
		</property>
		
		<property>
			<name>hadoop.proxyuser.root.groups</name>
			<value>*</value>
		</property>
		
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

  <!-- 为namenode集群定义一个services name -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- nameservice包含哪些namenode,为各个namenode起名 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- 名称为nn1的namenode的rpc地址和端口号,rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>bigdata007:8020</value>
  </property>

  <!-- 名称为nn2的namenode的rpc地址和端口号,rpc用来和datanode通讯  -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>bigdata008:8020</value>
  </property>


  <!-- 名称为nn1的namenode的http地址和端口号,web客户端 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>bigdata007:50070</value>
  </property>

  <!-- 名称为nn2的namenode的http地址和端口号,web客户端 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>bigdata008:50070</value>
  </property>


  <!-- namenode间用于共享编辑日志的journal节点列表 -->	
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://bigdata007:8485;bigdata008:8485;bigdata009:8485/mycluster</value>
  </property>
  
  
  <!-- journalnode 上用于存放edits日志的目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/softs/hadoop3.1.3/data/dfs/jn</value>
  </property>

  <!-- 客户端连接可用状态的NameNode所用的代理类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

 <!--sshfence：防止namenode脑裂，当脑裂时，会自动通过ssh到old-active将其杀掉，将standby切换为active  -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>


  <!--ssh密钥文件路径-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 故障转移设置为ture -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

    <!--指定mapreduce运行在yarn框架上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!--设置mapreduce的历史服务器安装在bigdata007节点上-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata007:10020</value>
    </property>


	<!--设置历史服务器的web页面地址和端口号-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata007:19888</value>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

  <!-- 配置yarn的默认混洗方式，选择为mapreduce的默认混洗算法 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 是否启用日志聚集功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 是配置聚集的日志在HDFS上最多保存多长时间 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>

  <!--  启用resourcemanager的ha功能 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!--  为resourcemanage ha集群起个id -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarn-cluster</value>
  </property>

  <!--  指定resourcemanger ha有哪些节点名 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!--  指定第一个节点的所在节点 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>bigdata008</value>
  </property>

  <!--  指定第二个节点所在机器 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>bigdata009</value>
  </property>

  <!-- 指定resourcemanger ha所用的zookeeper节点 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>bigdata007:2181,bigdata008:2181,bigdata009:2181</value>
  </property>

 <!-- 开启Recovery后，ResourceManger会将应用的状态等信息保存到yarn.resourcemanager.store.class配置的存储介质中，重启后会load这些信息，并且NodeManger会将还在运行的container信息同步到ResourceManager，整个过程不影响作业的正常运行。 -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

 <!-- 指定yarn.resourcemanager.store.class的存储介质(HA集群只支持ZKRMStateStore) -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>

</configuration>

 配置运行hadoop中的works

 

​​​​​​​​​​​​​​

hadoop分发到别的目录

scp -r hadoop3.1.3/ root@bigdata008:/opt/softs/
 

再次/etc/profile 配置文件

 

#HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_CONF_DIR=/opt/softs/hadoop3.1.3/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`


export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

配置完成后，传给其他两台虚拟机上，记得source一下

NameNode初始化

1.在每个节点上启动journalnode

hadoop-daemon.sh start journalnode
 

2.在每个节点上启动zk

zkServer.sh start

3.在某一个NameNode节点（bigdata007）上对NameNode进行初始化 

hdfs namenode -format

启动NameNode并进行同步

1.在bigdata007上执行NameNode的启动

hadoop-daemon.sh start namenode

2.在另外一个NameNode节点（bigdata008）上同步元数据信息，然后再启动NameNode

        --同步元数据

        hdfs namenode -bootstrapStandby

        --启动NameNode

hadoop-daemon.sh start namenode



进行zk的初始化        

在bigdata007上执行zk的初始化

hdfs zkfc -formatZK

启动hdfs和yarn

start-dfs.sh

start-yarn.sh

windows配置文件

 

 

用浏览器访问

http://bigdata007:50070

http://bigdata008:50070

 07是活跃的

 

 

yarn的

http://bigdata008:8088


 

http://bigdata009:8088

有一个处于活跃状态

天才的白鸟
关注
  • 19
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoopHA搭建资源包
04-01
本资源包提供了搭建Hadoop HA所需的关键组件，包括Hadoop 2.7.0、Java开发环境JDK 8u192和ZooKeeper 3.4.9。 首先，Hadoop是Apache基金会开源的分布式文件系统，Hadoop 2.7.0是一个稳定版本，引入了HA特性，允许...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建
2401_84166396的博客
05-03 887
注意要将 zoo_sample.cfg 文件改名为 zoo.cfg，这个文件在 zookeeper 目录的 conf 目录下。不需要启动Zookeeper的节点，不需要配置进来。ZKFailOverController是Hadoop中通过ZK实现FC（故障转移）功能的一个实用工具。
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84170623的博客
04-27 669
DataNode | 有 | 有 | 有 | 存储实际数据，参与数据块的读写操作 || NodeManager | 有 | 有 | 有 | 负责管理容器生命周期，与ResourceManager通信 |
2024年Hadoop之Ha高可用搭建教程_启动hadoop高可用集群(1)，2024年最新字节跳动大数据开发面试凉凉经
2401_84166147的博客
05-13 953
位置：vi /.bash_profile添加环境变量。
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 9064
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
Hadoop HA平台搭建
jerryhuang12的博客
08-02 740
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
hadoopHA搭建
互联网知识分享
07-19 251
关于理论部分，Hadoop HA 主要是通过引入 Standby NameNode，以及使用 Zookeeper 进行选举，解决了 Hadoop 1.x 中 NameNode 的单点故障问题。在 HA 架构中，Active NameNode 和 Standby NameNode 都有完整的文件系统元数据，而 Standby NameNode 会不断的从 Active NameNode 同步状态。：在每台机器上配置 ssh 免密码登录，以便 Hadoop 的各个组件可以在机器之间通信。将公钥复制到其他机器。
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 6657
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1618
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
hadoop-ha搭建
05-13
在Hadoop-HA模式下，通常会有两个活动的NameNode（Active和Standby）以及ResourceManager的HA。 在搭建Hadoop-HA的过程中，首先要进行的是**基础环境配置**。这包括： 1. **集群网络配置**：确保所有节点之间能...
Hadoop HA搭建脚本资料（必读）
06-10
1. **NameNode HA**：Hadoop的元数据管理服务，HA模式下有主备两个NameNode，即Active NameNode和Standby NameNode。它们共享元数据，并通过Zookeeper进行状态切换。 2. **Zookeeper**：协调Hadoop集群中的各种服务...
Hadoop HA搭建笔记和配置文件
11-10
"HDP HA模式"可能是具体的配置文件或脚本，可以参照这些文件来配置自己的Hadoop HA环境。在实际操作中，务必根据自己的硬件环境和需求调整配置，确保HA系统的稳定运行。记住，良好的监控和维护是保证HA系统持续运行...
Hadoop3以及高可用HA搭建方式.zip
07-10
3. **配置Hadoop**：在`hdfs-site.xml`中设置HA模式，指定两个NameNode的地址，并启用ZKFailoverController。在`core-site.xml`中配置ZooKeeper的连接信息。 4. **格式化NameNode**：初次启动前，必须对每个...
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1857
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
hadoop-hdfs配置 + HA(高可用)配置(学习)
m0_65385133的博客
03-16 1007
需要编写hadoop目录下的配置文件配置文件在hadoop安装目录下面的etc/hadoop/下。成功会出现namenode,datanode,secondarynamenode。在浏览器中打开namenode所在id: 192.168.72.88:9870。core-site.xml hadoop的核心配置文件。hadoop-env.sh 配置hadoop的相关环境。hdfs-site.xml hdfs的核心配置文件。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2890
HDFS HA 高可用搭建详细图文教程
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2739
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
Hadoop HA 搭建
不搞数学的汤老师
05-03 3186
前言 环境介绍 虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 Hadoop 版本：3.2.3 ZK 版本：3.8.0 实验机搭建 HA 概述 HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA。 DN 和 NM 本身就会起多个，所以不存在单点 2NN 用以整合 Image 和 Edit，做 HA 后，处于 stand
Hadoop HA搭建
我思，顾我在
08-02 521
Hadoop HA
hadoop HA集群搭建
最新发布
06-16
Hadoop High Availability (HA) 集群是为了提高Apache Hadoop集群的可靠性和可用性而设计的一种架构。它通过将关键服务（如NameNode和JobTracker）冗余部署，并在主节点故障时自动切换到备用节点，保证了数据处理任务的持续进行。下面是Hadoop HA集群搭建的基本步骤： 1. **安装并配置Hadoop**: - 安装Hadoop到两个或更多节点上，每个节点都是一个独立的Hadoop集群实例。 - 配置`core-site.xml`和`hdfs-site.xml`文件，设置集群的名称节点（NameNode）和数据节点（DataNodes）。 2. **启用HDFS HA**: - 在`hdfs-site.xml`中，设置`ha.fencing.methods`指定节点之间的心跳检测方法，例如SSH或JMX。 - 创建一个HDFS HA配置文件，如`core-site.xml.template`，并在实际集群中创建对应的配置文件。 3. **配置高可用NameNode**: - 设置`ha.zookeeper.quorum`为ZooKeeper集群地址，用于选举新的Active NameNode。 - 配置`dfs.nameservice.id`定义NameNode服务名。 - 在`hdfs-site.xml`中启用`dfs.ha.namenodes.<nameservice-id>`属性。 4. **设置Secondary NameNode**: - 在`hdfs-site.xml`中启用`dfs.ha.automatic-failover.enabled`，并配置`dfs.ha.automatic-failover.retry-interval`和`dfs.ha.automatic-failover.timeout`。 5. **配置ZooKeeper**: - 如果没有使用ZooKeeper，需要配置一个或多个ZooKeeper服务器作为NameNode服务选举的协调器。 6. **启动HDFS服务**: - 启动HDFS集群，包括两个NameNode（一个为主，一个为备）和足够的DataNodes。 7. **验证集群状态**: 使用`hdfs haadmin`命令检查集群状态、启动/关闭心跳检测和手动触发Failover。 8. **配置YARN HA**: 对于YARN资源管理器，类似地，需要配置ResourceManager HA（RMHA），并设置HA模式。 9. **测试和监控**: 确保服务可用，执行负载测试，并设置监控工具（如Hadoop Metrics2或Ganglia）来监控性能和异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值