Hadoop_HA与联邦机制

最新推荐文章于 2021-04-25 22:15:41 发布
最新推荐文章于 2021-04-25 22:15:41 发布
阅读量359 收藏
点赞数
分类专栏： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40929921/article/details/91785240
版权
本文探讨了Hadoop HDFS存在的NameNode单点故障及内存限制问题，介绍了通过HA模式解决单点故障，利用HDFS Federation进行水平扩展以缓解NameNode压力。同时，讨论了MapReduce的问题及其对系统的影响，并讲解了整合ZK实现HA和联邦机制的配置流程。
摘要由CSDN通过智能技术生成

大数据

HDFS存在的问题

​ •NameNode单点故障，难以应用于在线场景 HA

​ •NameNode压力过大，且内存受限，影扩展性 F

解决单点故障

​ •HDFS HA：通过主备NameNode解决

​ •如果主NameNode发生故障，则切换到备NameNode上

MapReduce存在的问题响系统

​ •JobTracker访问压力大，影响系统扩展性

​ •难以支持除MapReduce之外的计算框架，比如Spark、Storm等

解决内存受限问题

​ •HDFS Federation(联邦)

​ •水平扩展，支持多个NameNode；

​ •（2）每个NameNode分管一部分目录；

​ •（1）所有NameNode共享所有DataNode存储资源

HA模式

在这里插入图片描述

当分配主从NN时，2个NN和2个zkfc同时去zk集群中争抢一个锁，由两个zkfc同时去

zk特征： 目录树的数据结构 事件 session

考虑2种情况

​ 主NN故障，由主zkfc删掉zk中的节点，此时再由zkfc回调当时zk节点中的注册方法，将从NN升级

最低0.47元/天 解锁文章
人生路且修且行
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS联邦机制：扩展NameNode，提升集群规模
禅与计算机程序设计艺术
06-07 441
HDFS联邦机制：扩展NameNode，提升集群规模 1.背景介绍 随着大数据技术的迅猛发展，Hadoop分布式文件系统（HDFS）成为了处理海量数据的核心组件。然而，传统的HDFS架构中，单一NameNode的设计限制了系统的扩展性和可靠性。为了应对这一挑战，HDFS引
Hadoop——高可用（High Available，HA）模式与联邦机制（Federation）启蒙
Stay Hungry Stay Foolish
02-24 1112
虽说主从结构相对简单，但是公司中不会采用这种简单的主从结构，因为这会带来两个严重问题 若主节点发生故障，即单点故障，会造成整个集群不可用 主节点内存受限，压力过大 这是两个独立的问题，业内对于这两个问题给出了不同的解决方案，下面具体说明 Hadoop—高可用解决方案（HA） 所谓Hadoop高可用（HA）实际上就是配置多个Namenode，一个作为主机(Active)，其他作为备机(Stand...
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1401
https://www.cnblogs.com/qcloud1001/p/7693476.html
配置Hadoop2.0HDFS的HA以及联邦使用QJM
零度的博客专栏
10-09 1963
HA和联邦解释         相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦
大数据-HADOOP高可用、联邦机制- 学习笔记 -BH4
水滴的专栏
12-23 446
大数据-HADOOP高可用机制- 学习笔记 -BH4
Hadoop2.6 全分布式安装,配置了联邦
余音丶未散的博客
03-29 942
Hadoop全分布式安装2.6   共4台机器 hadoop01  namenode             zookeeper                  zkfc(zookeeper failover controller) hadoop02  namenode  datanode   zookeeper   journalnode    zkfc hadoop03
hadoop 2.2.0集群配置
xuefengmiao的专栏
05-02 512
 hadoop-2.2.0环境搭建      在这里我们选用4台机器进行示范，各台机器的职责如下表格所示   hadoop0 hadoop1 hadoop2 hadoop3 是NameNode吗? 是，属集群cluster1 是，属集群cluster1 是，属集群clust
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
黑泽君
02-24 336
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
hadoop_3
04-18
- **Hadoop联邦**：支持多个独立命名空间，允许在一个集群中运行不同版本的 Hadoop，便于升级和管理。 6. **工具与接口更新**： - **HDFS命令行工具增强**：提供了更多的选项和参数，便于管理和监控文件系统。 -...
Hadoop联邦机制加HA容错机制详细配置说明-Hadoop商业环境实战
weixin_34143774的博客
12-19 118
本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。期待加入IOT时代最具战斗力的团队。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 1 core-site.xml 配置： 1：配置统一视图viewfs:/// 2: 配置不同命名空间下，每一个H...
关于hadoop-ha联邦制集群搭建的注意事项
jackybooms的博客
10-07 489
在学习大数据的过程中避免不了要搭建各种分布式集群，能不能准确快速地搭好集群将关系到我们学习大数据效率的高低。由于之前没有一定的经验，所以在学习的过程中经常遇到各种问题。网上虽然有一些解决方案，但有时不完全有用，得结合自己的实际情况做出判断。今天就自己的学习心得分享给大家: 说明:本集群是在虚拟机linux的CentOS-6.7 64位版本上搭建的(当然不局限于该版本，但建议选择版本6.0以上的)
Hadoop生产环境搭建（含HA、Federation）
weixin_30462049的博客
04-15 143
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS ...
hadoop Federation（联邦）简介
热门推荐
学习笔记
05-31 1万+
在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage） 文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载能力也会越来越高，限制HDFS的性能。hdfs主要有两层架构： 1.命名空间（namespace） 由目录、文件、块组成。
Hadoop 及 YARN 的高可用原理
kong
03-25 1588
HDFS 高可用配置参考http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html Hadoop 高可用介绍 Hadoop2.x中的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态(Active )，另一个处于随时待命状态(Sta...
Hadoop2.6分布式 automatic HA+Federation+Yarn教程
吃果冻不吐果冻皮
04-29 2970
一、前言 与Hadoop1.x相比，Hadoop2.x中的NameNode不再是只有一个了，可以有多个（目前只支持2个）。每一个都有相同的职能。这两个NameNode的地位如何哪？ 答：一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNod
Hadoop 及 YARN 的高可用（HA）配置
kong
03-25 5295
机器节点名称：node1、node2、node3、 Linux：Centos6.9 上传 Hadoop 的配置 1.使用 hadoop 用户进入/home/hadoop/apps 目录下 2.上传安装文件并解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 3.使用 root 用户创建软连接 ln -s /home/hadoop/apps/had...
搭建hadoop2.6.0 HA及YARN HA （很不错的博文）
似水流年
02-14 1783
搭建hadoop2.6.0 HA及YARN HA （很不错的博文）信息介绍挺详细的，值的一看。。。
Hadoop的HA搭建及Yarn简单理解
lemon
01-04 1089
Hadoop的HA搭建及Yarn简单理解 一，Hadoop2.0产生背景 之间我们搭建了 hadoop 1.0 版本 完全分布式，详情见博客–> 完全分布式搭建HDFS 回顾1.0版本中搭建的架构图，如下： 存在以下问题： ​ – Hadoop 1.0 中 HDFS和MapReduce在高可用，扩展性方面存在问题。 HDFS存在的问题: ​ NameNode单点故障问题，NameNod...
Hadoop_NodeManager_AllocatedVCores
最新发布
06-02
`Hadoop_NodeManager_AllocatedVCores` 是一个普罗米修斯指标，用于监控 Hadoop 集群中 NodeManager 上已经分配的虚拟 CPU 核心数（vcores）。 以下是示例普罗米修斯指标定义： ``` # HELP Hadoop_NodeManager_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值