【HDFS】集群高可用

最新推荐文章于 2023-09-04 16:23:03 发布
最新推荐文章于 2023-09-04 16:23:03 发布
阅读量189 收藏
点赞数
分类专栏： 大数据Hadoop快速入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33876553/article/details/119771349
版权
本文介绍了HDFS单节点架构存在的问题，如NameNode内存限制和单点故障，然后详细讨论了HDFS的Federation和NameNode High Availability（HA）机制。在NameNode HA中，QJM（Quorum Journal Manager）被用来实现元数据edits文件的高可用，通过JournalNode集群存储edits日志，并依赖Zookeeper进行主备状态切换，确保集群的稳定运行。
摘要由CSDN通过智能技术生成

集群高可用

HDFS单节点架构存在的问题

img

HDFS单点架构存在一些问题，首先是NameNode内存受限，因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大，可能会将NameNode内存占满，这种情况下会导致HDFS的扩展性上限。

其次就是单点故障问题，主从架构的HDFS是依靠主节点NameNode来运转的，一旦主节点挂掉就会导致整个集群不可用。

Federation（联邦）机制

联邦机制是Hadoop 2.x中提出的解决NameNode内存瓶颈问题的水平横向扩展方案。

它将多台NameNode组成联邦，每一台NameNode负责存储一部分元数据信息，共同负责HDFS的正常运行。

img

联邦机制解决了NameNode单点的内存限制，提升了HDFS的扩展性能。

NameNode High Availability（高可用）机制

NameNode High Availability高可用机制是Hadoop 2.x中提出的，用于解决NameNode单节点故障问题的方案。实现高可用，至少提供两台NameNode做热备：Active、Standby

了解本专栏 订阅专栏 解锁全文 超级会员免费看
桥路丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
高可用HDFS集群原理笔记及搭建过程
qq_40262690的博客
10-13 791
HDFS高可用集群原理及搭建 如何实现HDFS高可用？ HDFS的高可用是HDFS持续对客户端提供读、写服务的能力，因为客户端对HDFS的读写操作之前要访问namenode服务器，客户端需要从namenode端获取元数据之后才能继续进行读、写。HDFS的高可用的关键在于nodename元数据持续可用，之前的完全分布式中的secondaryNamenode是把namenode的fsimage和edi...
hdfs开启高可用+hive报错
02-29
### HDFS高可用机制与Hive兼容性问题详解 #### 一、背景介绍 Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，主要用于存储海量数据。随着业务需求的增长，单一NameNode节点已经无法满足大规模集群的高...
HDFS HA高可用集群搭建教程
Aries_Chen_CSDN的博客
05-06 428
前言 如果对英文比较熟悉，建议直接看hadoop官网 本文以hadoop-2.10.0为例来分享一下Centos6上的hadoop高可用集群的安装部署。实验环境使用三个节点 node01.aries.com node02.aries.com node03.aries.com 服务分布 服务 node01 node02 node03 NameNode 是 是 否 DataNod...
HDFS-HA高可用集群配置
weixin_38023225的博客
09-25 524
1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机...
HDFS高可用集群搭建
不以物喜的博客
05-06 322
0 前提条件 1）安装JDK 2）安装zookeeper 3）集群规划 192.168.199.101 192.168.199.102 192.168.199.103 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK ZK ZK ResourceManager ResourceManager NodeManager NodeManager NodeMa
大数据集群高可用之 HDFS
weixin_33901641的博客
08-01 184
2019独角兽企业重金招聘Python工程师标准>>> ...
hdfs高可用配置文件
07-06
总的来说，HDFS高可用配置是一项复杂但至关重要的任务，它确保了Hadoop集群的稳定运行和数据的安全性。理解并正确配置NameNode、Secondary NameNode、JournalNodes以及Failover Controller是实现HDFS HA的关键。通过...
hdfs的高可用搭建
10-17
### HDFS高可用性(HA)搭建详解 #### 一、引言 HDFS (Hadoop Distributed File System) 是Hadoop生态系统中的分布式文件系统组件，主要用于存储海量数据。随着业务的发展，对数据处理的需求越来越高，单点故障的风险...
Hadoop技术HDFS的高可用性共7页.pdf.zip
11-21
在这个主题中，“Hadoop技术HDFS的高可用性”将探讨如何构建和维护一个可靠的HDFS集群，确保服务不中断，数据不丢失。 首先，HDFS的高可用性主要依赖于NameNode的高可用设计。NameNode作为HDFS的元数据管理节点，...
HDFS高可用配置手册.docx
最新发布
07-24
### HDFS高可用配置手册 #### 一、HDFS高可用 ##### 1、基础描述 HDFS（Hadoop Distributed File System）是Apache ...此外，通过Zookeeper集群的辅助，实现了自动化故障转移，大大提高了HDFS集群的整体稳定性。
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
Hadoop HA(HDFS高可用)集群搭建
qq_57193542的博客
09-28 517
本文搭建hadoop的环境为 centos7.9 Hadoop3.1.3 jdk-8u301 zookeeper-3.4.6，我们首先需要准备好三台虚拟机，修改好主机名，设置静态IP，关闭防火墙，关闭selinux，以其中一台master节点为例具体操作如下 [root@master ~]# yum -y install vim [root@master ~]# vim /etc/hostname #只有一行，改为master,其他两台分别改为slave1,slave2 [root@master ~]#
Hadoop生态圈（九）- HDFS High Availability（HA）高可用集群
程序园@大Null
01-19 1424
HDFS HA高可用集群搭建安装部署，HDFS NameNode单点故障问题，QJM——主备切换、脑裂问题解决，QJM——主备数据同步问题解决，HA系统设计核心问题，高可用如何实现，ZKFailoverController（zkfc），Fencing隔离机制，可用性评判标准——x个9
Hadoop系列-HDFS HA高可用集群
happy19870612's blog
10-23 2290
前言： 在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。 HA架构图：   集群需要考虑的问题： 1 我们要考虑两个NM之间的元数据是共享或者同步的 NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文
HDFS高可用完全分布式集群搭建
cway的博客
10-15 258
hdfs高可用集群配置文件
cbuy888的博客
07-10 258
#cd  /usr/local/hadoop/etc/hadoop-------------core-stie.xml<configuration>        <property>                <name>fs.defaultFS</name>                <value>hdfs://ald8&lt...
Hadoop的高可用搭建
kailzhu的博客
06-22 299
Hadoop的高可用搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载二级目录三级目录 1、虚拟机和组件的获取和选择 1.1、虚拟机 参数 值 说明 虚拟机名称 nn,dn1,dn2 19.168.229.[150/151/152] 虚拟机个数 3台 个数最少3个，且最好为奇数 内存 20G/4G 主节点20G子节点4G 磁盘 300G 三台相同 系统 CentOS-7-x86_64-DVD-1708.iso 三台相同 之前搭建CDH，因此沿
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2926
HDFS HA 高可用搭建详细图文教程
6.HDFS集群—搭建HA高可用模式
小羽的博客
07-18 139
HA高可用模式搭建 节点结构 HOST NN JNN DN ZKFC ZK tongyuzhe1 * * * tongyuzhe2 * * * * * tongyuzhe3 * * * tongyuzhe4 * * 配置zookeeper 将zookeeper解压到/opt/bigdata/目录下，进入zookeeper下的conf文件夹 复制一份zoo_sample.cfg重命名为zoo.cfg cp zoo_sample.cfg zoo.cfg
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

桥路丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值