Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建

置顶 已于 2023-11-07 09:00:48 修改
阅读量746 收藏 8
点赞数 2
文章标签： hadoop 大数据 hdfs
于 2023-03-17 14:42:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43701894/article/details/129620500
版权

Hadoop3 HA高可用集群搭建

Hadoop3高可用（HA:High Available）测试集群搭建。

NameNode是整个Hadoop集群的大脑。

HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。

为了解决单台 NameNode 挂掉不可用的问题，HDFS 在 2.x 版本的时候引入了 HDFS 集群的 HA 模式，也就是有了 NameNode 的主备架构。在 2.x 的版本中，HDFS 支持一主一备的架构，在 3.x 的版本中最多支持 5 个，官方推荐使用 3 个。

Hadoop高可用架构

实际上保证高可用只需要考虑两点。

  1. 可用性
  2. 一致性

如果Active节点和StandBy节点使用同步阻塞的方式同步数据，那么StandBy节点的故障会影响到Active节点正常工作（同步数据需要返回确认信息），延迟、故障等因素影响了集群可用性；

如果Active节点和StandBy节点使用异步非阻塞模式同步数据，StandBy节点同步的过程中可能什么也没做，也可能发生故障了，Active节点不知道情况，继续正常工作，影响了一致性；

这样好像很难同时保证高可用和一致性，原因在于NameNode之间耦合太重了，所以Hadoop3又引入了JournalNode节点专门同步NameNode数据。

Hadoop3 HA架构

Hadoop-ha

  1. journalNode的作用是存放EditLog的。在MR1中editlog是和fsimage存放在一起的然后SecondNamenode做定期合并,Yarn在这上面就不用SecondNamanode了.

  2. Active Namenode与StandBy Namenode之间的就是JournalNode,作用相当于NFS共享文件系统。Active Namenode往里写editlog数据,StandBy再从里面读取数据进行同步。

  3. 两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。

    standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。

NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。

JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。

当运行N个节点时，系统可以容忍至少(N-1)/2(N至少为3)个节点失败而不影响正常运行。

在HA集群中，standby状态的NameNode可以完成checkpoint操作，因此没必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了，还会报错。

前置步骤

  1. 集群互信
    2.安装配置zookeeper

集群规划

以下节点加入集群

192.168.8.3 centos1
192.168.8.4 centos2
192.168.8.5 centos3
centos1centos2centos3
NameNodeNameNodeNameNode
ResourceManagerResourceManagerRecourceManager
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
JobHistoryServer

安装Hadoop并配置环境变量

  1. 解压hadoop并分发

    cd /soft
tar -xzvf hadoop-3.2.0.tar.gz
mv hadoop-3.2.0 hadoop3.2
xsync.sh hadoop3.2

  2. 配置环境变量

    vim /etc/profile.d/bigdata.sh
# 添加两行
export HADOOP_HOME=/soft/hadoop3.2
export LD_LIBRARY_PATH=$LIBRARY_PATH:$HADOOP_HOME/lib/native
# 分发
xsync.sh /etc/profile.d/bigdata.sh
# 激活测试
source /etc/profile
echo $HADOOP_HOME

  3. 如果以root用户搭建集群环境，还需要添加以下环境变量（在hadoop-env.sh、yarn-env.sh等中也可以）

    export HDFS_ZKFC_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_NODEMANAGER_USER=root
export YARN_RESOURCEMANAGER_USER=root

配置文件

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 NameNode 的地址 单节点
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos1:8020</value>
    </property>
    -->
    <!-- Namenode高可用配置-自定义集群名称,且不用指定端口号 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop3.2/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 bigdata -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>bigdata</value>
    </property>
    <!--置超级代理-->
    <property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
    </property>
    <!-- 配置ZKFC进程连接zookeeper的地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>centos1:2181,centos2:2181,centos3:2181</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--

nn web 端访问地址
<property>
<name>dfs.namenode.http-address</name>
<value>centos1:9870</value>
</property>
2nn web 端访问地址
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>centos3:9868</value>
</property>

-->
  <!-- namenode服务逻辑id -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!-- namenode服务mycluster下3个节点 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>
  <!-- 节点通讯地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>centos1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>centos2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>centos3:8020</value>
  </property>
  <!-- web ui地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>centos1:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>centos2:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>centos3:9870</value>
  </property>
  <!-- journalnode edits读取写入地址 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://centos1:8485;centos2:8485;centos3:8485/mycluster</value>
  </property>
  <!--  the Java class that HDFS clients use to contact the Active NameNode -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- a list of scripts or Java classes which will be used to fence the Active NameNode during a
  failover -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
    <value>shell(/bin/true)</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/bigdata/.ssh/id_rsa</value>
  </property>
  <property>
    <name>dfs.ha.nn.not-become-active-in-safemode</name>
    <value>true</value>
  </property>
  <!-- 故障情况自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!-- Namenode 数据存储目录-->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>${hadoop.tmp.dir}/name</value>
  </property>

  <!-- Datanode 数据存储目录-->
  <property>
    <name>dfs.namenode.data.dir</name>
    <value>${hadoop.tmp.dir}/data</value>
  </property>

  <!-- journalnode 数据存储目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>
</configuration>

相关配置可查看官网

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址 单节点 -->
    <!--
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos2</value>
</property>
-->
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>
            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- hadoop classpath输出以下路径 -->
    <property>
        <name>yarn.application.classpath</name>
        <value>
            /opt/hadoop3.2/etc/hadoop:/opt/hadoop3.2/share/hadoop/common/lib/*:/opt/hadoop3.2/share/hadoop/common/*:/opt/hadoop3.2/share/hadoop/hdfs:/opt/hadoop3.2/share/hadoop/hdfs/lib/*:/opt/hadoop3.2/share/hadoop/hdfs/*:/opt/hadoop3.2/share/hadoop/mapreduce/lib/*:/opt/hadoop3.2/share/hadoop/mapreduce/*:/opt/hadoop3.2/share/hadoop/yarn:/opt/hadoop3.2/share/hadoop/yarn/lib/*:/opt/hadoop3.2/share/hadoop/yarn/*</value>
    </property>
    <!-- 开启resourcemanager HA-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 自定义一个resourcemanager的逻辑集群id-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>
    <!-- 指定resourcemanager集群的逻辑节点名称列表-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>
    <!-- rm1的节点信息-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>centos1</value>
    </property>
    <!-- yarn web页面地址  -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>centos1:8088</value>
    </property>
    <!-- rm1 对客户端暴露的地址，客户端通过该地址向RM提交任务等 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>centos1:8032</value>
    </property>
    <!-- rm1 与 applicationMaster的通信地址  -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>centos1:8030</value>
    </property>
    <!-- rm1 与 nm的通信地址  -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>centos1:8031</value>
    </property>

    <!-- rm2的节点信息-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>centos2</value>
    </property>
    <!-- yarn web页面地址  -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>centos2:8088</value>
    </property>
    <!-- rm2 对客户端暴露的地址，客户端通过该地址向RM提交任务等 -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>centos2:8032</value>
    </property>
    <!-- rm2 与 applicationMaster的通信地址  -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>centos2:8030</value>
    </property>
    <!-- rm2 与 nm的通信地址  -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>centos2:8031</value>
    </property>

    <!-- rm3的节点信息-->
    <property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>centos3</value>
    </property>
    <!-- yarn web页面地址  -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>centos3:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm3</name>
        <value>centos3:8032</value>
    </property>
    <!-- rm3 与 applicationMaster的通信地址  -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm3</name>
        <value>centos3:8030</value>
    </property>
    <!-- rm3 与 nm的通信地址  -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
        <value>centos3:8031</value>
    </property>

    <!-- 配置zookeeper信息  -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>centos1:2181,centos2:2181,centos3:2181</value>
    </property>

    <!-- 启动自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!-- 配置将recourcemanager的状态信息存储在zookeeper中 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://centos1:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>centos1:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>centos1:19888</value>
    </property>
</configuration>

workers(DataNodes)

centos1
centos2
centos3

初始化集群

  1. 启动zookeeper集群

  2. 初始化ZKFC

    ZKFC用于监控active namenode节点是否挂掉，通知其它节点上的ZKFC强行杀死自己ZKFC节点上的namenode（防止其假死状态产生集群namenode脑裂的发生），然后选举出其他namenode为active节点。在节点1执行

    ${HADOOP_HOME}/bin/hdfs zkfc -formatZK

  3. 在每个节点上启动journalnode进程

    cluster_all.sh ${HADOOP_HOME}/bin/hdfs --daemon start journalnode

  4. 在节点1上格式化namenode

    ${HADOOP_HOME}/bin/hdfs namenode -format

  5. 启动节点1的namenode

    ${HADOOP_HOME}/bin/hdfs --daemon start namenode

  6. 其他StandBy节点同步

    # 同步
${HADOOP_HOME}/bin/hdfs namenode -bootstrapStandby

HA集群初始化工作完成，后续可使用启动脚本快速启动、停止集群。

集群测试

  1. 启动整个集群

    myhadoop.sh start

# 
[bigdata@centos1 root]$ myhadoop.sh start
start hadoop cluster
start hdfs on centos1
Starting namenodes on [centos1 centos2 centos3]
Starting datanodes
Starting journal nodes [centos2 centos3 centos1]
Starting ZK Failover Controllers on NN hosts [centos1 centos2 centos3]
start yarn on centos2
Starting resourcemanagers on [ centos1 centos2 centos3]
Starting nodemanagers
start historyserver

  2. 查看active节点

    # 连接zookeeper
get -s /hadoop-ha/hacluster/ActiveStandbyElectorLock
# 或者
${HADOOP_HOME}/bin/hdfs haadmin -getAllServiceState

    可打开web页面查看节点是否为active

  3. 查看所有进程

    centos1centos2centos3
    QuorumPeerMainQuorumPeerMainQuorumPeerMain
    JournalNodeJournalNodeJournalNode
    NameNodeNameNodeNameNode
    DataNodeDataNodeDataNode
    DFSZKFailoverControllerDFSZKFailoverControllerDFSZKFailoverController
    ResourceManagerResourceManagerResourceManager
    NodeManagerNodeManagerNodeManager
    JobHistoryServer

  4. 测试HDFS高可用

    kill -9 active namenode进程，查看页面状态，可发现另外某个namenode自动切换成active状态。

  5. 验证YARN高可用

    访问任意resourcemanager节点的8088都会跳转到固定的一个resourcemanager节点上，说明高可用配置成功。

    Kill掉固定节点上的resourcemanager进程，继续访问8088端口，发现地址已转变到其它resourcemanager节点上，说明高可用验证成功。

    也可通过命令查看所有节点状态：

    yarn rmadmin -getAllServiceState

  6. 集群是否可用

    hdfs dfs -put ./wordcount.txt hdfs://mycluster/tmp/wordcount.txt
hdfs dfs -ls hdfs://mycluster/wordcount
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar wordcount /tmp/wordcount.txt /tmp/output
hdfs dfs -get hdfs://mycluster/tmp/output ./output

集群脚本

#!/bin/bash

# /opt/cluster_bin/myhadoop.sh

if [ ! $# -eq 1 ]
then
        echo "arg error!"
        exit 1
fi

if [ ! -e "$HADOOP_HOME" ]
then
        echo "HADOOP_HOME not set!"
        exit 1
fi

namenode="centos1"
resourcenode="centos2"

case $1 in
"start")
        echo "start hadoop cluster"

        echo "start hdfs on $namenode"
        ssh $namenode "${HADOOP_HOME}/sbin/start-dfs.sh"
        echo "start yarn on $resourcenode"
        ssh $resourcenode "${HADOOP_HOME}/sbin/start-yarn.sh"
        echo "start historyserver"
        ssh $namenode "${HADOOP_HOME}/bin/mapred --daemon start historyserver"
        ;;
"stop")

        echo "stop hadoop cluster"

        echo "stop hdfs on $namenode"
        ssh $namenode "${HADOOP_HOME}/sbin/stop-dfs.sh"
        echo "stop yarn on $resourcenode"
        ssh $resourcenode "${HADOOP_HOME}/sbin/stop-yarn.sh"
        echo "stop historyserver"
        ssh $namenode "${HADOOP_HOME}/bin/mapred --daemon stop historyserver"
        ;;
*)
        echo "arg error start or stop"
        ;;
esac

参考文章

hadoop中的JournalNode

HDFS 在 HA 模式集群下 JournalNode 节点的作用

Hadoop3.x入门-搭建3节点Hadoop HA集群

__如风__
关注
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2594
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
五分钟，本地搭建3节点Hadoop3集群
最新发布
CatchLight的博客
06-17 1028
距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。这就是我在虚拟机上搭建Hadoop3的步骤，有兴趣的同学不妨试试！
Hadoop3的高可用搭建
Baron_ND的博客
06-21 1595
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
hadoop3 高可用集群
qq_34304427的博客
09-17 1093
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
HadoopHA高可用集群配置 core-site.xml
07-07
在搭建Hadoop高可用（High Availability, HA）集群时，`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性，如默认的文件系统路径、临时目录以及与ZooKeeper集成的相关设置等。本文...
HadoopHA高可用集群配置 hdfs-site.xml
07-07
### Hadoop HA高可用集群配置详解 #### 一、引言 在大数据处理领域，Hadoop作为一款开源软件框架，以其高效稳定的数据处理能力而受到广泛欢迎。而在实际生产环境中，为了确保系统的高可用性和数据的安全性，通常会...
HadoopHA高可用集群配置 yarn-site.xml master2
07-07
### Hadoop HA高可用集群配置详解 #### 一、引言 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。随着业务需求的增长和技术的发展，对于数据处理平台的稳定性和可靠性提出了更高的要求。Hadoop HA（High ...
HadoopHA高可用集群配置 yarn-site.xml
07-07
HadoopHA高可用集群配置 yarn-site.xml yarn两台namenode配置不同
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
01-11
一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： 图片引用自： https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ HDFS 高可用架构主要由以下组件所构成： Active Na
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
详细描述Hadoop3.0 高可用分布式集群搭建。步骤清晰。
hadoop3.1.1高可用配置
12-22
hadoop3.1.1高可用配置 包括HDFS和yarn 等高可用的配置文件
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 3144
hadoop最新版本的HA高可用集群搭建流程
【Hadoop3.1.X-3-Hadoop3.x高可用集群搭建】
weixin_38136584的博客
01-08 460
Hadoop3.1.X-3-Hadoop3.x高可用集群搭建
Hadoop3.x高可用集群搭建流程
weixin_43540084的博客
11-07 1547
本文基于尚硅谷Hadoop3.x搭建高可用集群文档，hadoop版本为hadoop3.1.3，用于记录自己实操部署的过程和可能存在的问题。
Hadoop HA 集群搭建，基于hadoop3
Andy86666的博客
07-21 966
HadoopHA需要先看、的知识，才能来使用HadoopHA注意HadoopHA主要分成HDFSHA和YarnHA。
Hadoop高可用3台集群搭建步骤
我还起舞了的博客
05-09 790
hadoop高可用搭建与普通搭建在与haoop和hbase的安装配置不同，其他一致， 可看普通搭建：linux大数据集群搭建步骤 1.基本公共搭建 NAT网络； 防火墙； ssh免密； 主机名； 主机IP映射； 环境变量 JAVA_HOME=/home/hadoop/app/jdk CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar ZOOKEEPER_HOME=/home/hadoop/app/zookeeper HADOOP_HOME=/
配置Hadoop HA高可用集群：yarn-site.xml详解
"配置Hadoop HA高可用集群的yarn-site.xml文件，重点关注master2节点" 在Hadoop集群中，高可用性（HA）是非常关键的特性，它确保了即使在主节点故障时，服务也能继续运行，从而避免数据丢失和业务中断。本配置主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值