HA(高可用)完全分布式集群部署

最新推荐文章于 2024-04-15 14:26:17 发布
最新推荐文章于 2024-04-15 14:26:17 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： hadoop 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsjslient/article/details/114992987
版权

HA搭建

一、集群整体方案设计

hd01hd02hd03作用
NameNode(主)在这里插入图片描述activeNN
NameNode(备)在这里插入图片描述standbyNN
DFSZKFailoverController在这里插入图片描述在这里插入图片描述故障自动转移
JournalNode在这里插入图片描述在这里插入图片描述在这里插入图片描述Namenode数据同步
DataNode在这里插入图片描述在这里插入图片描述在这里插入图片描述数据节点
ResourceManager(主)在这里插入图片描述主资源管理进程
ResourceManager(备)在这里插入图片描述备份资源管理
NodeManager在这里插入图片描述在这里插入图片描述在这里插入图片描述节点管理
jobHistoryServer在这里插入图片描述历史服务
chronyd在这里插入图片描述在这里插入图片描述在这里插入图片描述时间同步
zookeeper在这里插入图片描述在这里插入图片描述在这里插入图片描述集群管理
JDK在这里插入图片描述在这里插入图片描述在这里插入图片描述java开发包

二、集群部署前的准备

  • 硬件选择：

    三台centos7系统的虚拟机

  • 服务选择：

    jdk-8u111-linux-x64.tar.gz
    zookeeper-3.4.5-cdh5.14.2.tar.gz
    hadoop-2.6.0-cdh5.14.2.tar.gz

三、集群部署服务

3.1 免密设置

  • 生成ssh公钥；
ssh-keygen -t rsa -P ''
  • 免密设置:每台依次执行，将公钥发送到各个服务器上；
ssh-copy-id hd01
ssh-copy-id hd02
ssh-copy-id hd03

在这里插入图片描述

3.2 服务器时钟同步

依次执行如下操作，指定上层NTP服务器为阿里云提供的公网NTP服务器：

# 安装chrony
yum -y install chrony
# 配置chrony，记得将默认的注释掉
vi /etc/chrony.conf

server ntp1.aliyun.com 
server ntp2.aliyun.com 
server ntp3.aliyun.com

# 启动chrony
systemctl start chronyd

在这里插入图片描述

3.3 psmidc安装

安装linux工具包psmisc，Namenode主备切换时需用到，只需安装至两台Namenode上即可；

[root@hd01 ~]# yum install -y psmisc

3.4 JDK安装配置

先在单台节点上安装，之后通过scp命令将文件发送到其他节点；

  • 解压安装包
[root@hd01 package]# tar -zxvf jdk-8u111-linux-x64.tar.gz -C /opt/software/
  • 配置环境变量
# 编辑环境变量，这里博主统一写入单独文件内，也可以在profile内编辑
[root@hd01 ~]# vi /etc/profile.d/my.sh


#JAVA_HOME
export JAVA_HOME=/opt/software/jdk180
export PATH=$PATH:$JAVA_HOME/bin
export CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar


# 重启环境变量
[root@hd01 ~]# source /etc/profile

# 测试环境
[root@hd01 ~]# java -version
  • 使用远程传输将文件发送至其余节点，发送完重启环境变量测试即可；
# 将jdk服务发送至其余节点
[root@hd01 software]# scp -r /opt/software/ root@hd02:/opt
[root@hd01 software]# scp -r /opt/software/ root@hd03:/opt
# 将环境变量配置文件发送至其余节点
[root@hd01 software]# scp -r /etc/profile.d/my.sh root@hd02:/etc/profile.d/
[root@hd01 software]# scp -r /etc/profile.d/my.sh root@hd03:/etc/profile.d/

3.5 配置Zookeeper集群

先在单台节点上安装，之后通过scp命令将文件发送到其他节点上分别设置；

  • 解压安装包
[root@hd01 package]# tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software
  • 配置环境变量
[root@hd01 ~]# vi /etc/profile.d/my.sh

#ZK_HOME
export ZK_HOME=/opt/software/zookeeper345
export PATH=$PATH:$ZK_HOME/bin
  • 进入${zookeeper_home}conf目录编辑配置文件：
# 复制并编辑
[root@hd01 conf]# cp zoo_sample.cfg zoo.cfg
[root@hd01 conf]# vi zoo.cfg

# 设置数据目录
dataDir=/opt/software/zookeeper345/data
# 配置集群，hd01等为博主设置的主机名，需要修改为你所对应的主机名
server.1=hd01:2888:3888
server.2=hd01:2888:3888
server.3=hd01:2888:3888

在这里插入图片描述

  • 在zoo.cfg配置的datadir目录下创建myid,并输入对应的主机序号，对应server后的序号
[root@hd01 conf]# cd /opt/software/zookeeper345/
[root@hd01 zookeeper345]# mkdir data
[root@hd01 zookeeper345]# cd data/
[root@hd01 data]# echo 1 > myid
  • 使用远程传输将文件发送至其余节点，记得将其余节点中的myid改成zoo.cfg中对应的序号
# 将环境变量配置文件发送至其余节点
[root@hd01 ~]# scp -r /etc/profile.d/my.sh root@hd02:/etc/profile.d/
[root@hd01 ~]# scp -r /etc/profile.d/my.sh root@hd03:/etc/profile.d/
#将zookeeper服务发送至其余节点
[root@hd01 data]# scp -r /opt/software/zookeeper345/ root@hd02:/opt/software/
[root@hd01 data]# scp -r /opt/software/zookeeper345/ root@hd03:/opt/software/
  • 重启环境变量，启动zookeeper
# 启动zookeeper服务
[root@hd01 ~]# zkServer.sh start

# jps查看zookeeper进程
[root@hd01 ~]# jps
10452 QuorumPeerMain
10539 Jps

3.6 配置Hadoop集群

先在单台节点上安装，之后通过scp命令将文件发送到其他节点上分别设置

  • 解压安装包;
[root@hd01 package]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/software/
  • 配置环境变量
#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
  • 进入${hadoop_home}创建以下文件夹;
[root@hd01 hadoop260]# mkdir tmp dfs
[root@hd01 hadoop260]# cd dfs
[root@hd01 dfs]# mkdir journalnode_data edits datanode_data namenode_data
  • 进入${hadoop_home}etc/hadoop目录，编辑如下配置；

hadoop-env.sh

# 编辑hadoop-env.sh
[root@hd01 hadoop]# vi hadoop-env.sh

#配置JAVA_HOME/HADOOP_CONF_DIR目录
export JAVA_HOME=/opt/software/jdk180
export HADOOP_CONF_DIR=/opt/software/hadoop260/etc/hadoop

core-site.xml

# 编辑core-site.xml
[root@hd01 hadoop]# vi core-site.xml

<configuration>
<!--指定hadoop集群在zookeeper上注册的节点名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<!--指定hadoop运行时产生的临时文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/software/hadoop260/tmp</value>
</property>
<!--设置缓存大小 默认4KB-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper的存放地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<!--配置允许root代理访问主机节点-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--配置该节点允许root用户所属的组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

hdfs-site.xml

# 编辑hdfs-site.xml
[root@hd01 hadoop]# vi hdfs-site.xml

<configuration>
<property>
<!--数据块默认大小128M-->
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<!--副本数量 不配置默认为3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点数据(元数据)的存放位置-->
<name>dfs.name.dir</name>
<value>file:///opt/software/hadoop260/dfs/namenode_data</value>
</property>
<property>
<!--datanode节点数据(元数据)的存放位置-->
<name>dfs.data.dir</name>
<value>file:///opt/software/hadoop260/dfs/datanode_data</value>
</property>
<property>
<!--开启hdfs的webui界面-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<!--datanode上负责进行文件操作的线程数-->
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value>
</property>
<property>
<!--指定hadoop集群在zookeeper上的注册名-->
<name>dfs.nameservices</name>
<value>hacluster</value>
</property>
<property>
<!--hacluster集群下有两个namenode分别是nn1,nn2-->
<name>dfs.ha.namenodes.hacluster</name>
<value>nn1,nn2</value>
</property>
<!--nn1的rpc、servicepc和http通讯地址-->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn1</name>
<value>hd01:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn1</name>
<value>hd01:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn1</name>
<value>hd01:50070</value>
</property>
<!--nn2的rpc、servicepc和http通讯地址-->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn2</name>
<value>hd02:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
<value>hd02:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn2</name>
<value>hd02:50070</value>
</property>
<property>
<!--指定Namenode的元数据在JournalNode上存放的位置-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hd01:8485;hd02:8485;hd03:8485/hacluster</value>
</property>
<property>
<!--指定JournalNode在本地磁盘的存储位置-->
<name>dfs.journalnode.edits.dir</name>
<value>/opt/software/hadoop260/dfs/journalnode_data</value>
</property>
<property>
<!--指定namenode操作日志存储位置-->
<name>dfs.namenode.edits.dir</name>
<value>/opt/software/hadoop260/dfs/edits</value>
</property>
<property>
<!--开启namenode故障转移自动切换-->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<!--配置失败自动切换实现方式-->
<name>dfs.client.failover.proxy.provider.hacluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!--配置隔离机制-->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<!--配置隔离机制需要SSH免密登录-->
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<!--hdfs文件操作权限 false为不验证-->
<name>dfs.premissions</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml

# 编辑mapred-site.xml
[root@hd01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hd01 hadoop]# vi mapred-site.xml

<configuration>
<property>
<!--指定mapreduce在yarn上运行-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--配置历史服务器地址-->
<name>mapreduce.jobhistory.address</name>
<value>hd01:10020</value>
</property>
<property>
<!--配置历史服务器webUI地址-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd01:19888</value>
</property>
<property>
<!--开启uber模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>

yarn-site.xml

# 编辑yarn-site.xml
[root@hd01 hadoop]# vi yarn-site.xml

<configuration>
<property>
<!--开启yarn高可用-->
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<!--指定Yarn集群在zookeeper上注册的节点名-->
<name>yarn.resourcemanager.cluster-id</name>
<value>hayarn</value>
</property>
<property>
<!--指定两个resourcemanager的名称-->
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<!--指定rm1的主机-->
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hd02</value>
</property>
<property>
<!--指定rm2的主机-->
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hd03</value>
</property>
<property>
<!--配置zookeeper的地址-->
<name>yarn.resourcemanager.zk-address</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<property>
<!--开启yarn恢复机制-->
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<!--配置执行resourcemanager恢复机制实现类-->
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<!--指定主resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hd03</value>
</property>
<property>
<!--nodemanager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<!--配置日志保留7天-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

slaves

设置集群
[root@hd01 hadoop]# vi slaves

hd01
hd02
hd03
  • 使用远程传输将文件发送至其余节点
# 将环境变量配置文件发送至其余节点
[root@hd01 ~]# scp -r /etc/profile.d/my.sh root@hd02:/etc/profile.d/
[root@hd01 ~]# scp -r /etc/profile.d/my.sh root@hd03:/etc/profile.d/

#将hadoop服务发送至其余节点
[root@hd01 data]# scp -r /opt/software/hadoop260/ root@hd02:/opt/software/
[root@hd01 data]# scp -r /opt/software/hadoop260/ root@hd03:/opt/software/

3.7 启动Hadoop集群

  • 启动JournalNode(3个都启动)
hadoop-daemon.sh start journalnode

在这里插入图片描述

  • 格式化Namenode(只在hd01操作)
hdfs namenode -format

status:0表示格式化成功

在这里插入图片描述

  • 将Namenode(主)的元数据复制到Namenode(备)相同位置
scp -r /opt/software/hadoop260/dfs/namenode_data/current/ root@hd02:/opt/software/hadoop260/dfs/namenode_data
  • 在hd01或hd02格式化故障转移控制器zkfc
hdfs zkfc -formatZK
  • 在Namenode(主)上启动dfs服务，对应当前的hd01
start-dfs.sh

服务开启后进程如下：
在这里插入图片描述

  • 在ResourceManager(主)上启动yarn(当前的hd03)
start-yarn.sh

服务开启后进程如下：
在这里插入图片描述

  • 在Namenode(主)上启动history服务器(当前的hd01)
mr-jobhistory-daemon.sh start historyserver

服务开启后当前节点进程如下：

在这里插入图片描述

  • 在ResourceManager(备)上启动resourcemanager服务
yarn-deamon.sh start resourcemanager

服务开启后当前节点进程如下：

在这里插入图片描述

四、Hadoop集群检查

4.1 jps服务检查

# 查看所有节点上服务情况
jps

在这里插入图片描述

4.2 查看Namenode&ResourceManager状态

# 在Namenode(主)上查看服务状态(当前hd01)
hdfs haadmin -getServiceState nn1 	#active 
hdfs haadmin -getServiceState nn2 	#standby 
# 在Resourcemanager(主)上查看resourcemanager状态 (当前hd01)
yarn rmadmin -getServiceState rm1 	#standby 
yarn rmadmin -getServiceState rm2 	#active

Namenode&ResourceManager状态查询：

在这里插入图片描述

4.3 主备Namenode切换检查

在Namenode的active节点挂掉后，Namenode的standby会自动切换到active状态上；

# kill掉Namenode主节点 查看Namenode standby节点状态 
kill -9 ${NAMENODE_UID}  #kill主节点进程 
# 恢复后重新加入 
hadoop-deamon.sh start namenode #启动后也只是standby节点

kill进程后，启动Namenode再查看nn状态：
此时，虽然Namenode启动了，但是nn1由之前的actice变为standby状态；

在这里插入图片描述

4.4 集群二次启动

#在Namenode(主)上启动dfs(当前hd01) 
start-dfs.sh 
#在ResourceManager(主)上启动yarn (当前hd03)
start-yarn.sh 
#下面的应用于主ResourceManager挂掉的情况下
#在ResourceManager(备)上启动resourcemanager (当前hd02) 
yarn-daemon.sh start resourcemanager

PS：如果有写错或者写的不好的地方，欢迎各位在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点个赞！不胜感谢！


原创作者：wsjslient

作者主页：https://blog.csdn.net/wsjslient

NightFall丶
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4198
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
hadoop分布式集群部署步骤总结
JimGray的博客
04-25 1万+
一、理论基础( 一) 　HA 概念以及作用 　　HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断
hadoop——HA集群部署
m0_65809235的博客
06-28 1161
各节点布置NameNodeDataNodeNameNodeDataNode。
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建
最新发布
2401_84167086的博客
04-15 591
在是NameNode节点上的任意一个节点上初始化NameNode，并且只需要初始化一遍，这里我的集群中，hadoop102和hadoop103上都有NameNode，但是因为hadoop103上有DataNode，所以我 选择使用hadoop102作为初始化节点。下面是解压过程：（该过程只需要在一台节点上完成即可，我这里使用的hadoop102，其他的节点后面使用克隆）。分别在hadoop102，hadoop103，hadoop104三个节点上启动Zookeeper，因为这三个节点在集群规划中有JNN。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2784
HDFS HA 高可用搭建详细图文教程
高可用集群部署方案
11-28
本文档详细介绍了RabbitMQ + HAProxy 高可用集群部署方案
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
在完全分布式集群基础上配置HA，我们需要规划服务器角色，例如： - Master节点（192.168.128.128）：包含Active NameNode和Active ResourceManager。 - Slave1（192.168.128.129）和Slave2（192.168.128.130）：...
Hadoop搭建完全分布式集群
12-11
对于生产环境，通常会设置Hadoop的高可用性，包括设置多个NameNode和启用HA。这需要更复杂的配置，包括ZooKeeper的部署和配置。 10. **安全性**： 为了保护集群免受未经授权的访问，可以启用Hadoop的安全性特性，...
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
12-22
在Hadoop生态系统中，了解和配置不同的运行模式是至关重要的，这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性（HA）配置。接下来，我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**： ...
Hadoop之高可用集群的安装.docx
05-12
在这个实验项目中，我们将探讨如何在完全分布式模式下安装和配置Hadoop的高可用集群。 首先，我们需要了解Hadoop的高可用完全分布模式。在这一模式下，Hadoop分布式文件系统（HDFS）的NameNode被设计为冗余的，通常...
Hadoop高可用完全分布模式完整部署手册PPT
11-16
《Hadoop高可用完全分布模式完整部署》是针对大数据处理技术的一份详尽教程，尤其适合初学者和希望深入理解Hadoop集群搭建的IT专业人士。本教程覆盖了从基础理论到实际操作的各个环节，旨在帮助读者掌握如何在企业...
HA（高可用集群）heartbeat
weixin_34004576的博客
09-20 107
HA 即 （high available）高可用，又被叫做双机热备, 常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的功能。下面我们使用heartbeat来做HA集群，并且把nginx服务作为HA对应的服务。试验准备：两个机器, 都是centos6.5，网卡eth0 ip如下：aming 192.168.31.166...
hadoop系列(二)HA高可用方式部署
qq_38130094的博客
12-13 2498
hadoop系列(一)hadoop集群安装hadoop系列(二)HA高可用方式部署hadoop系列(三) HDFS的shell操作和常用API操作hadoop系列(四)HDFS的工作机制，MapReduce，yarn流程及核心原理hadoop系列(五)input和output主节点(nameNode节点)与其他从节点具备ssh免密登录环境HOSTNameNodeSNNDNZKFCZKnode01√√node02√√√√√。
Redis生产级高可用集群配置部署方案
热门推荐
Mirson - 多一些分享, 多一些进步
12-28 3万+
1. 基于主从+哨兵的集群模式 说明： 由一主双从 + Sentinel哨兵集群（三个节点）实现的高可用。 为保证可用性，需要三台机器。 适用场景： 数据量不大、写入量少、扩展性要求不高 部署结构 拓扑图 Redis主从安装部署说明： 假定IP: MASTER: 192.168.0.1 SLAVE1: 192.168.0.2 SLAVE2: 192.168.0.3 Redis的安装不做赘述，侧重讲解如何配置，这里主要列出差异性的配置： 1） 主节点（master）配置： port
【有料】4 种高可用 RocketMQ 集群搭建方案！
daobuxinzi的博客
10-20 1366
假设某个Topic的每秒十万消息的写入， 可以增加 Master Broker 然后十万消息的写入会分别分配到不同的 Master Broker ，如有5台 Master Broker 那每个 Broker 就会承载2万的消息写入。每台 NameServer 都会有完整的集群路由信息，包括所有的 Broker 节点的信息，我们的数据信息等等。数据都是分布式存储的，每个Topic的数据都会分布在不同的 Broker 中，如果需要存储更多的数据，只需要增加 Master Broker 就可以了。
Hadoop HA 高可用之旅
记录点点滴滴
11-19 992
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
Flink三种安装部署方式（HA）
momo898821的博客
04-17 1万+
Flink集群安装部署
HA集群安装部署—详细
Internation985的博客
06-29 555
1.运行环境 1.1软件环境 三个字节 OS: 64位RHEL5及以上或者64位CentOS6.0及以上 JVM: 预装64位JDK1.8及以上版本 1.2浏览器要求 Firefox 39.0.0版本以及以上或者Google Chrome 54.0.2840.8版本及以上. BEH-Manager-4.1.2安装包于官方网站下载: http://beh.pezy.cn/ **2.安装准备** 2.1准备虚拟机 准备三个节点的虚拟机 2.2修改主机名 在各个节点执行以下操作来修改主机名，使集群下的
Hadoop  HA
Simple 专栏
05-13 1830
Hadoop  HA 是什么？ hadoop2.x版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。 HDFS HA背景 HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。 影响HDFS集群不可用主要...
9、hadoop高可用HA集群部署及三种方式验证
05-29
在部署Hadoop高可用（HA）集群之前，首先需要进行规划。本文将以三节点的HA集群为例进行介绍，其中包括两个NameNode实例以及一个ZooKeeper集群。 1. 确保ZooKeeper集群已部署 在HA集群中，ZooKeeper集群扮演着关键...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值