22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群

最新推荐文章于 2024-09-21 23:42:19 发布
最新推荐文章于 2024-09-21 23:42:19 发布
阅读量1.6k 收藏 24
点赞数 19
分类专栏： # hadoop3.x 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/K_520_W/article/details/138324465
版权

目录

1、HA 概述

2、HDFS-HA 集群搭建

2.1、HDFS-HA 核心问题

3、HDFS-HA 手动模式

3.1、环境准备

3.2、规划集群

3.3、配置 HDFS-HA 集群

3.4、启动 HDFS-HA 集群

4、HDFS-HA 自动模式

4.1、HDFS-HA 自动故障转移工作机制

4.2、HDFS-HA 自动故障转移的集群规划

4.3、配置 HDFS-HA 自动故障转移

5、YARN-HA 配置

5.1、YARN-HA 工作机制

5.2、配置 YARN-HA 集群

6、HADOOP HA 的最终规划

1、HA 概述

（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。

（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。

（3）NameNode 主要在以下两个方面影响 HDFS 集群

  • NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启
  • NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用

        HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方 式将 NameNode 很快的切换到另外一台机器。

2、HDFS-HA 集群搭建

2.1、HDFS-HA 核心问题

1）怎么保证三台 namenode 的数据一致

  • a.Fsimage:让一台 nn 生成数据,让其他机器 nn 同步
  • b.Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

2）怎么让同时只有一台 nn 是 active，其他所有是 standby 的

  • a.手动分配
  • b.自动分配

3）2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干

        由 standby 的 nn 来干

4）如果 nn 真的发生了问题，怎么让其他的 nn 上位干活

  • a.手动故障转移
  • b.自动故障转移

3、HDFS-HA 手动模式

3.1、环境准备

  • （1）修改 IP
  • （2）修改主机名及主机名和 IP 地址的映射
  • （3）关闭防火墙
  • （4）ssh 免密登录
  • （5）安装 JDK，配置环境变量等

3.2、规划集群

3.3、配置 HDFS-HA 集群

1）官方地址：http://hadoop.apache.org/

2）在 opt 目录下创建一个 ha 文件夹

[kgf@hadoop102 opt]$ ll
总用量 0
drwxr-xr-x. 5 kgf kgf  69 4月  27 10:59 module
drwxr-xr-x. 2 kgf kgf 108 4月  27 10:56 software
[kgf@hadoop102 opt]$  sudo mkdir ha
[kgf@hadoop102 opt]$  sudo chown kgf:kgf /opt/ha
[kgf@hadoop102 opt]$ pwd
/opt
[kgf@hadoop102 opt]$ ll
总用量 0
drwxr-xr-x. 2 kgf kgf   6 4月  29 20:36 ha
drwxr-xr-x. 5 kgf kgf  69 4月  27 10:59 module
drwxr-xr-x. 2 kgf kgf 108 4月  27 10:56 software
[kgf@hadoop102 opt]$

3）将/opt/module/下的 hadoop-3.1.3 拷贝到/opt/ha 目录下（记得删除 data 和 log 目录）

[kgf@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/

 4）配置 core-site.xml

<configuration>
    <!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<!-- 指定 hadoop 运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/ha/hadoop-3.1.3/data</value>
	</property>
</configuration>

5）配置 hdfs-site.xml

<configuration>

	<!-- NameNode 数据存储目录 -->
	 <property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/name</value>
	 </property>
	 
	<!-- DataNode 数据存储目录 -->
	 <property>
		<name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/data</value>
	 </property>
	 
	<!-- JournalNode 数据存储目录 -->
	 <property>
		<name>dfs.journalnode.edits.dir</name>
		<value>${hadoop.tmp.dir}/jn</value>
	 </property>
	 
	<!-- 完全分布式集群名称 -->
	 <property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	 </property>
	 
	<!-- 集群中 NameNode 节点都有哪些 -->
	 <property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2,nn3</value>
	 </property>
	 
	<!-- NameNode 的 RPC 通信地址 -->
	 <property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:8020</value>
	 </property>
	 <property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:8020</value>
	 </property>
	 <property>
		<name>dfs.namenode.rpc-address.mycluster.nn3</name>
		<value>hadoop104:8020</value>
	 </property>
	 
	<!-- NameNode 的 http 通信地址 -->
	 <property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:9870</value>
	 </property>
	 <property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:9870</value>
	 </property>
	 <property>
		<name>dfs.namenode.http-address.mycluster.nn3</name>
		<value>hadoop104:9870</value>
	 </property>
	 
	<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
	 <property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	 </property>
	 
	<!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
	 <property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	 </property>
	 
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	 <property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	 </property>
	 
	<!-- 使用隔离机制时需要 ssh 秘钥登录-->
	 <property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/kgf/.ssh/id_rsa</value>
	 </property>
</configuration>

6）分发配置好的 hadoop 环境到其他节点

3.4、启动 HDFS-HA 集群

1）将 HADOOP_HOME 环境变量更改到 HA 目录(三台机器)

[kgf@hadoop104 opt]$  sudo vim /etc/profile.d/my_env.sh

将 HADOOP_HOME 部分改为如下

#HADOOP_HOME

export HADOOP_HOME=/opt/ha/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

去三台机器上 source 环境变量

2）在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务

[kgf@hadoop102 ~]$ hdfs --daemon start journalnode

[kgf@hadoop103 ~]$ hdfs --daemon start journalnode

[kgf@hadoop104 ~]$ hdfs --daemon start journalnode

3）在[nn1]上，对其进行格式化，并启动

[kgf@hadoop102 ~]$ hdfs namenode -format

[kgf@hadoop102 ~]$ hdfs --daemon start namenode

4）在[nn2]和[nn3]上，同步 nn1 的元数据信息

[kgf@hadoop103 ~]$ hdfs namenode -bootstrapStandby

[kgf@hadoop104 ~]$ hdfs namenode -bootstrapStandby

5）启动[nn2]和[nn3]

[kgf@hadoop103 ~]$ hdfs --daemon start namenode

[kgf@hadoop104 ~]$ hdfs --daemon start namenode

6）查看 web 页面显示

7）在所有节点上，启动 datanode

[kgf@hadoop102 ~]$ hdfs --daemon start datanode

[kgf@hadoop103 ~]$ hdfs --daemon start datanode

[kgf@hadoop104 ~]$ hdfs --daemon start datanode

8）将[nn1]切换为 Active

[kgf@hadoop102 hadoop-3.1.3]$ hdfs haadmin -transitionToActive nn1

9）查看是否 Active

[kgf@hadoop102 hadoop-3.1.3]$ hdfs haadmin -getServiceState nn1
active
[kgf@hadoop102 hadoop-3.1.3]$

4、HDFS-HA 自动模式

4.1、HDFS-HA 自动故障转移工作机制

        自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper 和 ZKFailoverController （ZKFC）进程，如图所示。ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变 和监视客户端故障的高可用服务。

4.2、HDFS-HA 自动故障转移的集群规划

4.3、配置 HDFS-HA 自动故障转移

1）具体配置

（1）在 hdfs-site.xml 中增加

<!-- 启用 nn 故障自动转移 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

（2）在 core-site.xml 文件中增加

<!-- 指定 zkfc 要连接的 zkServer 地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	</property>

（3）修改后分发配置文件

[kgf@hadoop102 hadoop-3.1.3]$ pwd
/opt/ha/hadoop-3.1.3
[kgf@hadoop102 hadoop-3.1.3]$ xsync etc/hadoop/

2）启动

（1）关闭所有 HDFS 服务：

[kgf@hadoop102 ~]$ stop-dfs.sh

（2）启动 Zookeeper 集群：

[kgf@hadoop102 ~]$ zkServer.sh start

[kgf@hadoop103 ~]$ zkServer.sh start

[kgf@hadoop104 ~]$ zkServer.sh start

（3）启动 Zookeeper 以后，然后再初始化 HA 在 Zookeeper 中状态：

[kgf@hadoop102 bin]$ hdfs zkfc -formatZK

（4）启动 HDFS 服务：

[kgf@hadoop102 bin]$ start-dfs.sh

（5）可以去 zkCli.sh 客户端查看 Namenode 选举锁节点内容：

[zk: localhost:2181(CONNECTED) 1] get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock

        myclusternn1    hadoop102 �>(�>
cZxid = 0x300000008
ctime = Mon Apr 29 21:27:24 CST 2024
mZxid = 0x300000008
mtime = Mon Apr 29 21:27:24 CST 2024
pZxid = 0x300000008
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x300003ae48b0001
dataLength = 33
numChildren = 0
[zk: localhost:2181(CONNECTED) 2]

3）验证

（1）将 Active NameNode 进程 kill，查看网页端三台 Namenode 的状态变化

[atguigu@hadoop102 ~]$ kill -9 namenode 的进程 id

5、YARN-HA 配置

5.1、YARN-HA 工作机制

5.2、配置 YARN-HA 集群

4）具体配置

（1）yarn-site.xml

<configuration>

     <property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	 </property>
	 
	 <!-- 启用 resourcemanager ha -->
	 <property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	 </property>
	 
	 <!-- 声明两台 resourcemanager 的地址 -->
	 <property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>cluster-yarn1</value>
	 </property>
	 
	 <!--指定 resourcemanager 的逻辑列表-->
	 <property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2,rm3</value>
	</property>
	
	<!-- ========== rm1 的配置 ========== -->
	<!-- 指定 rm1 的主机名 -->
	 <property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop102</value>
	</property>
	
	<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop102:8088</value>
	</property>
	
	<!-- 指定 rm1 的内部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoop102:8032</value>
	</property>
	
	<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name> 
		<value>hadoop102:8030</value>
	</property>
	
	<!-- 指定供 NM 连接的地址 --> 
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoop102:8031</value>
	</property>
	
	<!-- ========== rm2 的配置 ========== -->
	 <!-- 指定 rm2 的主机名 -->
	 <property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop103</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop103:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>hadoop103:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>hadoop103:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>hadoop103:8031</value>
	</property>
	
	<!-- ========== rm3 的配置 ========== -->
	<!-- 指定 rm1 的主机名 -->
	 <property>
		<name>yarn.resourcemanager.hostname.rm3</name>
		<value>hadoop104</value>
	</property>
	
	<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm3</name>
		<value>hadoop104:8088</value>
	</property>
	
	<!-- 指定 rm1 的内部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm3</name>
		<value>hadoop104:8032</value>
	</property>
	
	<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm3</name> 
		<value>hadoop104:8030</value>
	</property>
	
	<!-- 指定供 NM 连接的地址 --> 
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
		<value>hadoop104:8031</value>
	</property>
	
	 <!-- 指定 zookeeper 集群的地址 --> 
	 <property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	 </property>
	 
	 <!-- 启用自动恢复 --> 
	 <property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	 </property>
	 
	 <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 --> 
	 <property>
		<name>yarn.resourcemanager.store.class</name> 
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	 </property> 
</configuration>

（2）同步更新其他节点的配置信息，分发配置文件

[kgf@hadoop102 hadoop-3.1.3]$ ls
bin  data  etc  hello.txt  include  lib  libexec  LICENSE.txt  liubei.txt  logs  NOTICE.txt  README.txt  sbin  share  wc.jar
[kgf@hadoop102 hadoop-3.1.3]$ xsync etc/hadoop/

4）启动 YARN

（1）在 hadoop102 或者 hadoop103 中执行：

[kgf@hadoop102 hadoop-3.1.3]$ jps
5873 NameNode
6178 Jps
5059 DataNode
4652 QuorumPeerMain
5532 DFSZKFailoverController
5295 JournalNode
[kgf@hadoop102 hadoop-3.1.3]$ start-yarn.sh
Starting resourcemanagers on [ hadoop102 hadoop103 hadoop104]
Starting nodemanagers
[kgf@hadoop102 hadoop-3.1.3]$

（2）查看服务状态

[kgf@hadoop102 hadoop-3.1.3]$ yarn rmadmin -getServiceState rm1
active
[kgf@hadoop102 hadoop-3.1.3]$

（3）可以去 zkCli.sh 客户端查看 ResourceManager 选举锁节点内容：

[kgf@hadoop102 ~]$ zkCli.sh
[zk: localhost:2181(CONNECTED) 16] get -s 
/yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock
cluster-yarn1rm1
cZxid = 0x100000022
ctime = Tue Jul 14 17:06:44 CST 2020
mZxid = 0x100000022
mtime = Tue Jul 14 17:06:44 CST 2020
pZxid = 0x100000022
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x30000da33080005
dataLength = 20
numChildren = 0

（4）web 端查看 hadoop102:8088 和 hadoop103:8088 的 YARN 的状态

6、HADOOP HA 的最终规划

爱上口袋的天空
关注
专栏目录
Hadoop HA集群的搭建（5个节点）
huicooling的博客
01-25 6189
  特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G） 软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可 系统准备：Centos7 64位 一、集群规划： 主机名               IP       ...
HDFS-HA 集群搭建 YARN-HA 集群的搭建 配置 HDFS-HA 自动故障转移机制
csdnwindnorth的博客
09-06 908
HA概述 1.所谓HA（high available），即高可用（7*24小时不中断服务）。 2.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3.Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4.NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn）
最新发布
2401_87298680的博客
09-21 1309
1. HDFS的是基于流数据模式访问（来了一点数据，就立马处理掉，立马分发到各个存储节点来响应分析、查询等，重点关注数据的吞吐量而不是访问速度）和处理超大文件的需求而开发的一个主从架构的分布式文件系统（分布式文件系统：一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间）；2. 流式数据: 将数据序列化为字节流来存储；3. 序列化：对文件进行切片就需要该文件支持序列化；4. 存储文件，通过目录树定位文件；6. 适合一次写入，多次读出的场景。
linux高可用集群(HA)原理详解
weixin_34410662的博客
01-10 2118
高可用集群一、什么是高可用集群高可用集群就是当某一个节点或服务器发生故障时，另一个节点能够自动且立即向外提供服务，即将有故障节点上的资源转移到另一个节点上去，这样另一个节点有了资源既可以向外提供服务。高可用集群是用于单个节点发生故障时，能够自动将资源、服务进行切换，这样可以保证服务一直在线。在这个过程中，对于客户端来说是透明的。二、高可用集群的衡量标准高可用...
hadoop高可用集群搭建
浅抒流年的博客
08-20 7846
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
Hadoop高可用（HA）集群搭建
qq_38787854的博客
03-26 339
需要的安装包： 注意：所有安装包均为 .tar.gz 格式 1、jdk压缩包 ：jdk-8u162-linux-x64.tar.gz 2、zookeeper压缩包：zookeeper-3.4.6.tar.gz 3、hadoop压缩包：hadoop-2.7.3.tar.gz 4、Vmware安装包和CentOs镜像文件： vm12 镜像： CentOS-6.8-x86_64-bin-DVD1...
7 Hadoop HA
weixin_42749734的博客
01-30 255
第七部分 Hadoop HA 7.1 HA概述 所谓HA(High Available)，即⾼可用(7*24⼩时不中断服务)。 实现⾼可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)。 NameNode主要在以下两个⽅方⾯面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软
Hadoop-HA模式（详解）
热门推荐
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2646
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Hadoop HA 高可用集群搭建
悦分享
07-15 289
其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。8)启动ZooKeeperFailoverCotroller，在ch01,ch02机器上依次执行以下命令，这个时候再浏览50070端口，可以发现ch01变成active状态了，而m2还是standby状态。2)在每台机器上执行下面的命令，可以查看状态，在ch01上是leader，其他机器是follower。6)启动所有的datanode，在ch01上执行。...
HadoopHA高可用集群配置 core-site.xml
07-07
在Hadoop HA集群中，通常会有两个或更多的名称节点来提供高可用性，因此这里需要配置一个名称节点地址。 **作用**: 当用户通过Hadoop API访问文件系统时，如果没有明确指定文件系统的URI，则会使用这个默认路径。这...
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3363
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
Hadoop高可用集群搭建
m0_50744317的博客
05-08 4042
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4641
一文带你了解Hadoop的HA高可用搭建!
高可用集群搭建
weixin_44778060的博客
11-14 535
分布式环境搭建 1. 集群规划 使用完全分布式，实现ResourceManager的高可用集群运行服务规划 2. 安装包解压 停止之前的Hadoop集群的所有服务，然后重新解压编译后的Hadoop压缩包，解压压缩包 node1节点执行以下命令进行解压 mkdir -p /opt/software cd /opt/software/ tar -zxvf hadoop-2.7.5.tar.gz -C /export/server/ cd /export/servers/hadoop
Hadoop HA集群搭建
_a_0_
03-23 310
/** hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.5又增加了YARN HA 注意：apache提供的hadoop-2.6.5的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.5就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我...
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1990
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
hadoopHA集群搭建
yang_zzu的博客
08-24 933
目录 A.修改配置文件 1. 修改hadoop-env.sh 2. 修改 core-site.xml 3.修改hdfs-site.xml 4.将修改的文件分发到其他节点 B.zookeeper 集群搭建 1. 下载安装包 2.上传文件夹，解压缩， 3.修改/etc/profile 文件 4.修改配置文件 5.将安装包分发到其他节点 6. 创建myid 启动 1. 所有节点关闭journalnode 2. 所有jnn 节点开启 journalnode 服务 3.格式化主节点..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值