HDFS高可用配置及其高可用集群搭建

已于 2022-11-07 08:18:03 修改
阅读量2.7k 收藏 23
点赞数 2
分类专栏： 大数据 hdfs Hadoop 文章标签： hadoop 大数据 java
于 2022-11-04 20:43:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53341445/article/details/127695789
版权
大数据 同时被 3 个专栏收录
17 篇文章 2 订阅
订阅专栏
Hadoop
16 篇文章 2 订阅
订阅专栏
hdfs
5 篇文章 0 订阅
订阅专栏

高可用

高可用背景

单点故障、高可用

单点故障：（single point of failure 缩写spof）是指的是系统中某一点一旦失效，就会让整个系统无法运作，换句话说单点故障会造成整体故障

高可用：（high availablelity 缩写 HA），指系统无中断的执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统意味着系统服务可以更长时间运行，通常通过提高系统的容错率来实现。

高可用性或者高可靠度的系统不会希望有单点故障造成整体故障的情形。一般可以通过冗余的方式增加多个相同机能的的不见，只要这些部件没有同时失效，系统（或至少部分系统）仍可运作，这会让可靠度提高。

实现高可用

主备集群

解决单点故障，实现系统服务高可用的核心并不是让故障永不发生，而是让故障的发生对业务的影响降到最小。因为软硬件故障是难以避免的问题。

当下企业中成熟的做法就是给单点故障的位置设置备份，形成主备架构。通俗描述就是当主挂掉，备份顶上，短暂的中断之后继续提供服务。

常见的是一主一备架构，当然也可以一主多备。备份越多，容错能力越强，与此同时，冗余也越大，浪费资源。

image-20221103221515040

Active、Standby

Active：主角色。活跃的角色，代表正在对外提供服务的角色服务。任意时间有且只有一个active对外提供服务。

Standby：备份角色。需要和主角色保持数据、状态同步，并且时刻准备切换成主角色（当主角色挂掉或者出现故障时），对外提供服务，保持服务的可用性。

可用性评判标准- x个9

在系统的高可用性里有个衡量其可靠性的标准——X个9，这个X是代表数字3-5。X个9表示在系统1年时间的使用过程中，系统可以正常使用时间与总时间（1年）之比。

  • 3个9：(1-99.9%)36524=8.76小时，表示该系统在连续运行1年时间里最多可能的业务中断时间是8.76小时。

  • 4个9：(1-99.99%)36524=0.876小时=52.6分钟，表示该系统在连续运行1年时间里最多可能的业务中断时间是52.6分钟。

  • 5个9：(1-99.999%)36524*60=5.26分钟，表示该系统在连续运行1年时间里最多可能的业务中断时间是5.26分钟。

9越多系统的可靠性越强，能容忍的业务中断时间越少，但是要付出成本更高

HA系统设置核心问题

1、脑裂问题

脑裂(split-brain)是指“大脑分裂”,本是医学名词。在HA集群中，脑裂指的是当联系主备节点的"心跳线"断开时(即两个节点断开联系时)，本来为一个整体、动作协调的HA系统，就分裂成为两个独立的节点。由于相互失去了联系，主备节点之间像"裂脑人"一样，使得整个集群处于混乱状态。脑裂的严重后果：

1）集群无主：都认为对方是状态好的，自己是备份角色，后果是无服务；

2）集群多主：都认为对方是故障的，自己是主角色。相互争抢共享资源，结果会导致系统混乱，数据损坏。此外客户端也无法确定到底找谁去提供服务

避免脑裂问题的核心是：保持任意时刻系统有且只有一个主角色提供服务。

2、数据同步问题

主备切换保证服务持续可用性的前提是主备节点之间的状态、数据是一致的，或者说准一致的。如果说备用的节点和主节点之间的数据差距过大，即使完成了主备切换的动作，那也是没有意义的。

数据同步常见做法是：通过日志重演操作记录。主角色正常提供服务，发生的事务性操作通过日志记录，备用角色读取日志重演操作。9

HDFS NameNode单点故障问题

在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集只有一个NameNode，如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用。

NameNode的单点故障从两个方面影响了HDFS群集的总可用性：

  • 如果发生意外事件（例如机器崩溃），则在重新启动NameNode之前，群集将不可用。

  • 计划内的维护事件，例如NameNode计算机上的软件或硬件升级，将导致群集停机时间的延长。

HDFS高可用性解决方案：在同一群集中运行两个（从3.0.0起，超过两个）冗余NameNode。这样可以在机器崩溃的情况下快速故障转移到新的NameNode，或者出于计划维护的目的由管理员发起的正常故障转移。

image-20221104084420929

image-20221104084431189

HDFS HA解决方案 -QJM

  • QJM 全称 Quorum Journal Manager（仲裁日志管理器），时Hadoop官方最推荐的HDFS HA解决方案

  • 使用zookeeper中的ZKFC来实现主备切换

  • 使用Journal Node（JN）来实现edits log的共享以达到数据同步的目的

QJM—主备切换、脑裂问题解决
ZKFC（ZK Failover Controller）

ZKFC是一个Zookeeper客户端，主要职责有：

  • 监视和管理NameNode健康状态

    ZKFC通过命令监视的NameNode节点及机器的健康状态

  • 维持和ZK集群联系

    如果本地NameNode运行状态良好，并且ZKFC看到当前没有其他节点持有锁znode，他将自己尝试获取该锁，如果成功，则表明它‘赢得了选举’，并负责运行故障转移以使其本地NameNode处于Active状态，如果已经有其他节点持有锁，zkfc选举失败，则会对该节点注册监听，等待下次继续选举

image-20221104085635824

主备切换、脑裂问题的解决–Fencing（隔离）机制
  • 故障转移过程俗称主备角色切换过程，切换过程中最怕的就是脑裂的发生，因此需要Fencing机制来避免，将先前的Active节点隔离，然后将Standby转换为Active状态
  • Hadoop公库中对外提供两种Fencing实现，分别是sshfence和shellfence（缺省实现）

sshfence是指通过ssh登录到目标节点上，使用命令fuser将进程杀死（通过tcp端口号定位进程pid，该方法比ips命令更加准确）

shellfence是指执行一个用户事先定义好的shell命令（脚本）完成隔离。

主备数据状态同步问题

  • Journal Node （JN）集群是轻量级的分布式系统，主要用于高速读写数据、存储数据
  • 通常使用2N+1台Journal Node 存储共享Edits Log（编辑日志）。低等类似于ZK的分布式一致性算法
  • 任何修改操作在Active NN上执行时，Journal Node进程同时也会记录edits log 到至少半数以上的JN中，这是Standby NN检测到JN里面的同步log发生变化了会读取JN里面的edits log，然后重演操作记录同步到自己的目录镜像树里面

image-20221104091239036

HDFS HA集群搭建

Step 1：集群基础环境准备

1.修改Linux主机名 /etc/hostname

2.修改IP /etc/sysconfig/network-scripts/ifcfg-ens33

3.修改主机名和IP的映射关系 /etc/hosts

4.关闭防火墙

5.ssh免登陆

6.安装JDK，配置环境变量等 /etc/profile

7.集群时间同步

8.配置主备NN之间的互相免密登录

Step 2：HA集群规划

机器运行角色
hadoop132-fatherNameode、zkfc、DataNode、Zookeeper、journal node
hadoop133NameNode、ZKFC、DataNode、journal node
hadoop134DataNode、zookeeper、journal node

Step 3 : 解压Hadoop

环境变量搭建

由于之前环境变量已经进行过操作了，这里采用懒人模式，将原来的hadoop更改名称，然后重新解压一个新的，省事

Step 4 ： Hadoop 配置文件配置

hadoop-env.sh

直接在最后几行加上这个

export JAVA_HOME=/opt/module/jdk1.8.0_301
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
core-site.xml
<configuration>
	<!-- HA集群名称，该值要和hdfs-site.xml中的配置保持一致 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>

	<!-- hadoop本地磁盘存放数据的公共目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/data/ha-hadoop</value>
	</property>

	<!-- ZooKeeper集群的地址和端口-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop132-father:2181,hadoop133:2181,hadoop134:2181</value>
	</property>
</configuration>
hdfs-site.xml
<configuration>
	<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	
	<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop132-father:8020</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop132-father:9870</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop133:8020</value>
	</property>
	
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop133:9870</value>
	</property>

	<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop132-father:8485;hadoop133:8485;hadoop134:8485/mycluster</value>
	</property>
	
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/data/journaldata</value>
	</property>

	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>

	<!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

	<!-- 配置隔离机制方法-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>
yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
<!-- 指定RM的cluster id -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
<!-- 指定RM的名字 -->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
<!-- 分别指定RM的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop132-father</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop133</value>
	</property>
<!-- 指定zk集群地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop132-father:2181,hadoop133:2181,hadoop134:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
workers

此处是ip

hadoop132-father
hadoop133
hadoop134

Step 5 ：分发到集群

这边直接采用老方法

rsync -av hadoop-3.3.1 root@hadoop133:/opt/modul/hadoop-3.3.1

执行之后以此类推，对hadoop134也进行相同的操作，即可完成

其他： zookeeper配置

高可用需要zookeeper来进行操作，所以需要安装zookeeper并搭建集群 zookeeper还没学，后续慢慢补上

zookeeper 下载与安装

zookeeper的安装地址 -点击直接下载，版本：3.7.1

下载后进行解压

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz

解压后需要对配置文件进行修改

cd apache-zookeeper-3.7.1-bin/
mv   apache-zookeeper-3.7.1-bin /opt/module/zookeeper # 移动到modul
cd /opt/module/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

对配置文件进行编写：

server.1=hadoop132-father:2888:3888
server.2=hadoop133:2888:3888
server.3=hadoop134:2888:3888
dataDir=/opt/data/zookeeper #此处进行一个修改

随后在进行一个分发，大致与hadoop分发相同，这里就不再进行操作

启动zookeeper

进入到bin目录下

./zkServer.sh start

对各个都进行启动，随后查看状态

查看状态命令：

./zkServer.sh status

查看各个状态

hadoop132-father的状态：

image-20221104165356064

hadoop133状态

image-20221104165532710

hadoop134状态

image-20221104165600420

当前状态有2个follower和1个leader

集群搭建完毕

Step 6：HA集群初始化

启动zookeeper

这里在集群搭建过程中已经进行了启动这里不再演示

手动启动JN集群

指令：

hdfs -daemon start journalnode

通过jps查看是否启动成功：

image-20221104170311131

显然已经启动成功，随后将其他的机器都启动

格式化namenode

在hadoop132-father上进行格式化

hdfs namenode -faomat

image-20221104172612629

到此我们就格式化成功

启动namenode进程
hdfs --daemon namemode
在hadoop133中进行namenode元数据同步
hdfs namenode --bootstrapStandby

image-20221104173639779

表示已经成功

格式化ZKFC

注意： 在哪台机器上执行，那台机器就将成为第一次的Active NN

hdfs zkfc -formatZK

image-20221104174009667

Step 6 : 启动HA

直接启动HDFS集群即可

直接启动全部

start-all.sh

可能会存在报错，报错我忘了说什么了，大概是因为meyarn没有指定用户啥的，需要填上，可以参考之前文章配置HDFS那里

查看启动效果：

image-20221104194911262

该启动的都启动了，下播

HDFS HA效果演示

查看UI

去hadoop132-father里面进行查看

image-20221104200557588

去查看hadoop133节点：

image-20221104200950080

去浏览文件系统

image-20221104201337186

可以看到文件正常，虽然说没有任何文件 （🙆）

但是呢hadoop133就不乐观了

image-20221104201638055

人家直接告诉你目前是准备状态，不支持读取操作

模拟宕机

我们手动的杀死hadoop132-father节点中的namenode查看是否能用

kill -9 namenode

这时候我们再次查看UI

image-20221104202021605

发现hadoop133可以正常使用了而且叶转换成了active状态了

image-20221104202059633

至于hadoop132-father 他就直接死掉了，页面都打不开了

其他

使用该方法一般情况下时会成功的，但是也会存在异常，可能会报bash fuser:command not found这样的异常，提示我们未找到fuser程序，导致无法进行隔离。可以通过以下命令来进行安装，Psmisc软件包中包含了fuser程序（需要注意的是，两个NN机器都得安装）

yum install psmisc -y

image-20221104202838057

我这里是已经进行过安装了所以没有任何问题

不知落叶何时落
关注
  • 2
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS高可用（HA）
Z_Data的博客
09-21 1249
为了整个系统的可靠性，我们通常会在系统中部署两台或多台主节点，多台主节点形成主备的关系，但是某一时刻只有一个主节点能够对外提供服务，当某一时刻检测到对外提供服务的主节点“挂”掉之后，备用主节点能够立刻接替已挂掉的主节点对外提供服务，而用户感觉不到明显的系统中断。这样对用户来说整个系统就更加的可靠和高效。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2816
HDFS HA 高可用搭建详细图文教程
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
最新发布
花&败
04-29 1432
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
HDFS HA 高可用
程序员学习圈
07-09 344
1.概述(1) 所谓HA（high available），即高可用（7*24小时不中断服务）。(2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。(3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。(4) NameNode主要在以下两个方面影响HDFS集群        NameNode机器发生...
hadoop 3.2.1集群高可用(HA)搭建
半斤米粉闯天下的博客
02-19 3610
规划 共三台机器，目标是搭建一套配置了HA的双副本hadoop集群，关于zkfc，journalnode的详细原理不再赘述，集群详细规划如下： namenode datanode journalnode ZKFC master * * * slave1 * * * * slave1 * * * 出于简单方便，我个人并没有使用zookeeper集群，而是在docke...
大数据框架之Hadoop：HDFS（八）HDFS HA高可用
yiluohan0307的专栏
02-15 1164
HDFS HA高可用
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
配置高可用的Hadoop平台
03-03
这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。将下载好的安装包解压到/usr/java/jdk1.7，然后设置环境变量，命令如下：然后编辑...
Hadoop之高可用集群的安装.docx
05-12
完成上述步骤后，Hadoop的高可用集群就已搭建完毕。所有相关服务进程应能正常启动，HDFS可以正常工作，MapReduce示例程序也能顺利运行。在实际操作中，务必注意每个步骤的细节，确保集群的稳定性和数据的可靠性。在...
hadoop高可用集群搭建
weixin_35749440的博客
02-15 229
Hadoop是一个分布式的大数据处理框架，为了保证Hadoop集群的高可用性，我们需要搭建一个高可用的Hadoop集群。 下面是一个基本的Hadoop高可用集群搭建流程： 配置Hadoop集群的基础环境，包括安装JDK、SSH、NTP等必要的软件和服务。 配置Hadoop集群的主节点和从节点，在主节点上配置ZooKeeper集群，从节点上安装HDFS和YARN组件。 配置Hadoop集群的HA(...
已经是高可用的集群namenode切换active状态。
weixin_62882091的博客
12-24 710
已经是高可用的集群namenode切换active状态。
hadoop集群高可用配置及问题（下）
KingLionfzj的博客
12-04 544
yarn高可用配置
Hadoop生态圈（五）HDFS高可用架构
傅红雪的专栏
09-26 622
（英语：single point of failure，缩写SPOF）是指系统中某一点一旦失效，就会让整个系统无法运作，换句话说，单点故障即会整体故障。（英语：high availability，缩写为HA），IT 术语，指系统无中断地执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统意味着系统服务可以更长时间运行，通常通过提高系统的容错能力来实现。高可用性或者高可靠度的系统不会希望有单点故障造成整体故障的情形。
MyCluster服务调用
lizhengx的专栏
05-31 806
MyCluster一个最重要的功能是抽象并简化跨进程跨节点的RPC调用，让开发人员： 1）不关心远端服务的部署（IP地址、端口号）； 2）不关心远端服务的IP地址，端口号是否发生变化，不想因为他变化而修改我的代码； 3）不想知道远端服务是否是多实例，不想去解决负载均衡的问题，除非业务中指定了向某一固定远端服务的实例发送消息； 4）可以随意增加一个新的服务，不想去考虑新增服务的端口号是否冲突之类的问题； 5）……
HDFS-HA的配置-----手动Failover方式
chenpingbupt的专栏
08-29 6859
转帖请注明来自本空间：http://blog.csdn.net/chenpingbupt  1、配置log的路径（可选） etc/hadoop/hadoop-env.sh export HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logs export JAVA_HOME=/home/ziang/software/jd
Hadoop-HA模式（详解）
热门推荐
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
Hdfs dfs命令使用
weixin_34163553的博客
12-22 453
如果是把数据放在了hdfs系统，那么我们如何访问他们呢？ 1.hdfs查看文件夹 ./hdfs dfs -ls hdfs://mycluster/output/online/ 2.hdfs创建目录dfs创建文件夹 ./hdfs dfs -mkdir hdfs://mycluster/output/online/ ./hdfs dfs -mkdir hdf...
Hadoop：HA HDFS core-site.xml和hdfs-site.xml配置
iDark 的博客空间
10-02 3575
core-site.xml  &lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;hadoop.tmp.dir&lt;
CDH6.2.1 hdfs 高可用配置
我思，顾我在
10-22 1249
1.先进入HDFS集群的管理界面 2. 启用 HDFS 的 High Availability 3. 自定义名称 4. 分配角色 5. JournalNode 编辑目录 6. 启用 High Availability 命令 7. 访问Web UI
HDFS高可用集群搭建
12-08
以下是HDFS高可用集群搭建的步骤： 1. 部署三台虚拟机，分别为NameNode1、NameNode2和DataNode。 2. 在三台虚拟机上安装Java环境和Hadoop软件。 3. 修改hadoop-env.sh文件，设置JAVA_HOME环境变量。 4. 修改core-site.xml文件，设置Hadoop的默认文件系统为HDFS，并设置NameNode的RPC地址。 5. 修改hdfs-site.xml文件，设置NameNode1和NameNode2的RPC地址、HTTP地址、NameNode数据目录、SecondaryNameNode地址和DataNode数据目录。 6. 在NameNode1和NameNode2上创建共享存储目录，用于存储NameNode的元数据。 7. 在NameNode1和NameNode2上启动JournalNode服务，用于存储NameNode的编辑日志。 8. 在NameNode1和NameNode2上启动NameNode服务，并将其中一个NameNode设置为Active状态，另一个设置为Standby状态。 9. 在DataNode上启动DataNode服务，将其注册到Active状态的NameNode和Standby状态的NameNode上。 10. 测试HDFS高可用集群的功能，包括上传、下载、删除文件等操作。 ```shell # 以下是具体的命令示例： # 启动JournalNode服务 hadoop-daemon.sh start journalnode # 启动NameNode服务 hadoop-daemon.sh start namenode # 格式化NameNode hdfs namenode -format # 启动DataNode服务 hadoop-daemon.sh start datanode # 查看HDFS状态 hdfs dfsadmin -report ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值