2022-07-22 搭建完全分布式(高可用)

已于 2022-07-28 09:40:03 修改
阅读量243 收藏
点赞数
分类专栏： 大数据学习 文章标签： hdfs hadoop 大数据
于 2022-07-22 11:19:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D___H/article/details/125924544
版权

一、HA原理

1. HDFS高可用

HDFS高可用解决了NN单点故障问题

(1) 正常工作时的原理架构图

a. ZKFC是一个进程，监控NN的健康状态 ，将所代理的NN信息写入到Zookeeper的节点中，该节点用作一把锁，只能允许一个ZKFC写入内容，成功写入内容的ZKFC所代理的NN会对外提供服务，状态变为Active，其他ZKFC所代理的NN都变成StandBy状态，不对外提供服务；

b. JN(Journal Node)是一个类似于Zookeeper的高可用集群，采用过半机制，JN中存储了NN的编辑日志文件，只有Active状态的NN有权限向JN中写入编辑日志，其他NN只能读取编辑日志文件，然后将该编辑日志文件在内存中和元数据合并，维护最新的元数据，以备Active状态的NN挂掉之后，自己补位；

(2) Active状态NN宕机后，故障切换的原理架构图

2. Yarn高可用

 Yarn高可用解决了RM单点故障问题

原理类似于HDFS，Yarn中也有类似于ZKFC的进程，不同的是，Yarn将该进程直接集成到了内部，保持Yarn高可用的原理也是通过了Zookeeper的存储+通知机制，与HDFS这部分的处理完全一致。

二、HA环境搭建

关于集群如何搭建请参考：Hadoop概述、搭建完全分布式(非高可用)

搭建Zookpper集群请参考：Zookeeper基础

装完之后再进行如下步骤

下文中只会指出需要变动的地方，不变的安装内容不再赘述

1. HDFS HA搭建

四.1.(1)core-site.xml

<configuration>
        <!-- 指定把多个NameNode的地址组装成一个集群，集群名自定义 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hdfscluster</value>
        </property>
        <!-- 指定zkfc要连接的zkServer地址 -->
        <property>
	        <name>ha.zookeeper.quorum</name>
	        <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
        </property>
        <!-- 指定hadoop数据的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/moudle/hadoop-3.1.3/data</value>
        </property>
        <!-- 配置HDFS网页登录使用的静态用户为soro-->
        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>soro</value>
        </property>
        <!-- 配置该soro(superUser)允许通过代理访问的主机节点 -->
        <property>
                <name>hadoop.proxyuser.soro.hosts</name>
                <value>*</value>
        </property>
        <!-- 配置该soro(superUser)允许通过代理用户所属组 -->
        <property>
                <name>hadoop.proxyuser.soro.groups</name>
                <value>*</value>
        </property>
        <!-- 配置该soro(superUser)允许通过代理的用户-->
        <property>
                <name>hadoop.proxyuser.soro.groups</name>
                <value>*</value>
        </property>
</configuration>

四.1.(2)hdfs-site.xml

<configuration>
	<!-- NameNode数据存储目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/name</value>
	</property>
	<!-- DataNode数据存储目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/data</value>
	</property>
	<!-- JournalNode数据存储目录 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>${hadoop.tmp.dir}/jn</value>
	</property>
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>hdfscluster</value>
	</property>
	<!-- 集群中NameNode节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.hdfscluster</name>
		<value>nn1,nn2,nn3</value>
	</property>
	<!-- NameNode的RPC通信地址，端口号也可以为9820、9000 -->
	<property>
		<name>dfs.namenode.rpc-address.hdfscluster.nn1</name>
		<value>hadoop101:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.hdfscluster.nn2</name>
		<value>hadoop102:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.hdfscluster.nn3</name>
		<value>hadoop103:8020</value>
	</property>
	<!-- NameNode的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.hdfscluster.nn1</name>
		<value>hadoop101:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.hdfscluster.nn2</name>
		<value>hadoop102:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.hdfscluster.nn3</name>
		<value>hadoop103:9870</value>
	</property>
	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/hdfscluster</value>
	</property>
	<!-- 访问代理类：client用于确定哪个NameNode为Active -->
	<property>
		<name>dfs.client.failover.proxy.provider.hdfscluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh秘钥登录，务必修改用户名 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/soro/.ssh/id_rsa</value>
	</property>
	<!-- 启用nn故障自动转移 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
</configuration>

2. Yarn HA搭建

四.1.(3)yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 启用resourcemanager ha -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 声明resourcemanagers的集群名 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yarncluster</value>
	</property>
	<!--指定resourcemanagers有哪些-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- rm1的配置 -->
	<!-- 指定rm1的主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop101</value>
	</property>
	<!-- 指定rm1的web端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop101:8088</value>
	</property>
	<!-- 指定rm1的内部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoop101:8032</value>
	</property>
	<!-- 指定AM向rm1申请资源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>hadoop101:8030</value>
	</property>
	<!-- 指定供NM连接的地址 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoop101:8031</value>
	</property>
	<!-- rm2的配置 -->
	<!-- 指定rm2的主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop102</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop102:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>hadoop102:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>hadoop102:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>hadoop102:8031</value>
	</property>
	<!-- 指定zookeeper集群的地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
	</property>
	<!-- 启用自动故障转移机制 -->
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<!-- 指定resourcemanager的状态信息存储在zookeeper集群 -->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	<!-- yarn容器允许分配的最大最小内存 -->
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>512</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>4096</value>
	</property>
	<!-- yarn容器允许管理的物理内存大小 -->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>4096</value>
	</property>
	<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>
		<name>yarn.log.server.url</name>
		<value>http://hadoop101:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

3. 启停

四.3.(2)启停脚本

脚本使用了一个自己编写的zookeeper启停脚本

# 置于用户目录下的bin文件夹中，文件名为hadoop-ha.sh
vim ~/bin/hadoop-ha.sh

# 以下是脚本内容
#!/bin/bash
 
if [[ $# -ne 1 ]]
then
	echo "usage: hadoop-ha.sh (format|start|stop)"
	exit
fi
 
case $1 in
"format")
	line=$(cat -n $HADOOP_HOME/etc/hadoop/hdfs-site.xml | tr -s ' \t' | awk '/dfs\.namenode\.shared\.edits\.dir/{print $1+1}')
	for host in $(cat -n $HADOOP_HOME/etc/hadoop/hdfs-site.xml | tr -s ' \t' | awk -vline=$line 'FNR==line{print $2}' | grep -E -o '([^/]+:[0-9]+)+' | awk -vRS=';' '{print $0}' | awk -F':' '{print $1}' | grep -E '\S')
	do
		ssh $host "rm -rf $HADOOP_HOME/data $HADOOP_HOME/logs"
		ssh $host "hdfs --daemon start journalnode"
	done
	
	namenodeMachine=""
	for host in $(cat -n $HADOOP_HOME/etc/hadoop/hdfs-site.xml | tr -s ' \t' | awk -vline=$line 'FNR==line{print $2}' | grep -E -o '([^/]+:[0-9]+)+' | awk -vRS=';' '{print $0}' | awk -F':' '{print $1}' | grep -E '\S')
	do
		if [[ $(ping -W1 -c1 $host &>/dev/null;echo $?) -eq 0 ]]
		then
			if [[ -z "$namenodeMachine" ]]
			then
				namenodeMachine=$host
				ssh $host "hdfs namenode -format"
				ssh $host "hdfs --daemon start namenode"
			else
				ssh $host "hdfs namenode -bootstrapStandby"
			fi
		fi
	done
	
	for host in $(cat -n $HADOOP_HOME/etc/hadoop/hdfs-site.xml | tr -s ' \t' | awk -vline=$line 'FNR==line{print $2}' | grep -E -o '([^/]+:[0-9]+)+' | awk -vRS=';' '{print $0}' | awk -F':' '{print $1}' | grep -E '\S')
	do
		ssh $host "hdfs --daemon stop journalnode"
	done
	ssh $namenodeMachine "hdfs --daemon stop namenode"
	
		zookeeper.sh start
	echo "Y" | hdfs zkfc -formatZK
	zookeeper.sh stop
;;
"start"|"stop")
		line=$(cat $HADOOP_HOME/etc/hadoop/yarn-site.xml | awk '{ \
		i=match($0,"yarn\.log\.server\.url"); \
		if(i!=0){ \
		getline; \
		gsub("\\s",""); \
		print $0; \
		} \
		}')
		line=${line#*//}
		historyServerMachine=$(echo ${line%%:*})
		zookeeper.sh $1
		$1-dfs.sh
		$1-yarn.sh
		ssh $historyServerMachine "mapred --daemon $1 historyserver"
;;
*)
	echo "usage: hadoop-ha.sh (format|start|stop)"
;;
esac


# 赋予执行权限
chmod +x ~/bin/hadoop-ha.sh

四.3.(3)格式化并启动

# 格式化
hadoop-ha format

# 启动
hadoop-ha start

# 停止
hadoop-ha stop

四.4查看网页端

Web查看目标			访问网址
NameNode			http://hadoop101:9870 http://hadoop102:9870 http://hadoop103:9870
Resource Manager	http://hadoop101:8088 http://hadoop102:8088
历史服务器			http://hadoop101:19888/jobhistory

D___H
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群环境搭建之高可用的完全分布式集群环境搭建
qq_39131779的博客
10-12 535
搭建集群的模式有三种 1.伪分布式：在一台服务器上，启动多个线程分别代表多个角色(因为角色在集群中使用进程表现的) 2.完全分布式：在多台服务器上，每台服务器启动不同角色的进程，多台服务器构成集群 3.高可用的完全分布式 本次搭建是在完全分布式的基础上搭建的，完全分布式请看 完全分布式的搭建. . 首先为什么会提出高可用的完全分布式呢？ 因为以往的架构，毕竟是单节点(namenode),...
Hadoop环境搭建（4） -- 完全分布式搭建理论
m0_64776466的博客
12-11 177
配置完全分布的知识准备
CentOs-7 Zookeeper 完全分布式环境搭建 高可用性
weixin_44651989的博客
06-23 237
在搭建HA（HDFS高可用）时，可以没有Secondary NameNode节点，在搭建完全分布式时的Secondary NameNode合并edits文件的功能由Standby的NN替代了。 1.下载安装zookeeper 2.修改ZK的conf文件夹下的zoo.cfg 3.实现zoo.cfg里面预声明的文件目录 4.拷贝文件到其余节点机器 5.修改每个机器的环境变量 在hadoop下创建文件夹...
搭建Hadoop完全分布式高可用集群
mengshicheng1992的博客
05-13 433
搭建Hadoop完全分布式高可用集群 此文以Hadoop 3.2.2版本为例！ 如未指定，下述命令在所有节点执行！ 系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS 节点角色 Master1 master1 2C/4G ens33 128G 192.168.0.11 CentOS7 NameNode、ResourceManager、DFSZKFailoverController Master2 master2 2C/4G ens33 128G 192.16
Hadoop3.0集群安装（包含HDFS HA配置）
u011563666的博客
03-07 2742
hadoop3.0出来了，想尝试一下新版本的特性及mapreduce性能提升，以下以6台机器作为hadoop集群，机器主机名为：hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6，其中hadoop1-3作为namenode节点，hadoop4-6作为datanode节点。   一、前提条件 1、6台机器上都安装了jdk，并配置好了jdk环境变量（建...
HadoopHA高可用完全分布式搭建
01-07
一、准备工作 1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及Zookeeper...
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191...
Hadoop3.3高可用环境搭建 .docx
11-29
五台虚拟机搭建Hadoop3.3.1高可用完全分布式环境
hadoop-2.8.1完全分布式搭建脚本和配置文件
08-24
这个压缩包文件"hadop-2.8.1完全分布式搭建脚本和配置文件"提供了在集群环境中搭建Hadoop 2.8.1版本的详细步骤，特别强调了高可用性和自动化配置。 1. **Hadoop 2.8.1**：这是Hadoop的一个稳定版本，它包含了对HDFS...
ZooKeeper 完全分布式集群环境搭建.md
最新发布
06-14
# ZooKeeper 完全分布式集群环境搭建教程 ZooKeeper是一个用于分布式应用的开源协调服务，提供了高效的配置管理、分布式同步、命名服务等功能。本文将详细介绍如何搭建一个ZooKeeper完全分布式集群，涵盖环境准备、...
【Hadoop学习之四】HDFS HA搭建（QJM）
weixin_30375427的博客
01-03 155
环境　　虚拟机：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客户端：Xshell4　　FTP：Xftp4 　　jdk8 　　hadoop-3.1.1 由于NameNode对于整个HDFS集群重要性，为避免NameNode单点故障，在集群里创建2个或以上NameNode（不要超过5个），保证高可用。 实现主备NameNode需要解决的问题：1、通过Journ...
Hadoop入门学习笔记-第二天 （HDFS：NodeName高可用集群配置）
dreamflying33的博客
07-02 1219
说明： hdfs：nn单点故障，压力过大，内存受限，扩展受阻。 hdfs ha ：主备切换方式解决单点故障 hdfs Federation联邦：解决鸭梨过大。支持水平扩展，每个nn分管一部分目录，所有nn共享dn资源。 使用JN集群保证数据一致性，使用zk集群解决主备切换 1.若使用主备节点，常常存在的问题：强一致性，若一致性。 强一致性（同步）：nn主节点必须等到nn副本返回成功后，才能向客户端返回成功。主和副本之间可能会有如网络延迟、阻塞等问题，就造成了nn的不可用，违背了HA初衷。 弱一致性（异步）：
HDFS HA 集群搭建实录
SnowXu01的博客
09-03 642
1. 主机与服务规划 1.1 主机规划 主机 IP HostName CPU MEMERY USER PWD hadoop181 192.168.207.181 hadoop181 4 CORE 8G hadoop hadoop hadoop182 192.168.207.182 hadoop182 4 CORE 8G hadoop hadoop hadoop183 192.168.207.183 hadoop183 4 CORE 8G hadoop hadoop 1.2 服务规
HDFS集群搭建（HA）与启动
06-24 1358
在文章http://blog.csdn.net/u013063153/article/details/73611549写到了非HA集群的搭建。 现利用Zookeeper做HA，搭建HDFS集群。需要修改之前的配置。 1.进入etc/hadoop/目录，干掉masters文件(此文件是存放Secondary NameNode的) cd etc/hadoop/ rm -rf /home/had
java api 访问 HDFS HA（高可用）配置文件配置方法
m18738102014的博客
08-14 1149
private static Configuration getHdfsConf() { String userKeytabPath = PropertiesUtil.getProperty("hive.user.keytab.path"); String userPrincipal = PropertiesUtil.getProperty("hive.us...
hadoop-3.0.0完整版HA部署
onepiece_yang的博客
10-09 2468
一、环境准备: Linux7.2 hadoop-3.0.0.tar.gz JDK1.8 二、下载源 hadoop3.0.0下载地址:https://archive.apache.org/dist/hadoop/common/ zookeeper-3.4.5下载地址:https://archive.apache.org/dist/zookeeper/ jdk下载地址:https://www.orac...
HadoopHA集群搭建介绍
依旧的博客
04-03 3935
1、前提： 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 7.注意集群时间要同步 2、集群部署节点角色的规划（3节点） server01 namenode resourcemanager zkfc nodemanager datanode ...
高可用完全分布式搭建
DonviYang的博客
10-13 417
成功截图 历时一天，到晚上12点，终于搭建成功高可用的完全分布式。 从下午三点到晚上九点6个小时一直在找之前的搭建错误，没有成功。遂删掉四台虚拟机，准备重头开始。 从晚上接近十点到晚上12点，从创建虚拟机开始，花费两个小时，成功。 可见，在动手之前大脑中应该有清晰的思路才能开始下手，否则，费时费力心寒。 也可以看出，该删掉重来的时候不能犹豫，毕竟经过长时间的纠错之后，已经清楚了全部的坑。 上图 ...
Hadoop 完全分布式及HA高可用集群搭建
m0_58675408的博客
04-19 2571
基础环境：三个节点 前提/etc/hosts master对其他节点可免密登录（包括自己） 上传jdk和hadoop包到master节点，都解包到/usr/local/src下 vim /etc/profile 末尾追加 #set java environment export JAVA_HOME=/usr/local/src/jdk export JRE_HOME=/usr/local/src/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值