大数据学习笔记：Hadoop 2.x的版本架构模型介绍

最新推荐文章于 2022-01-28 10:16:04 发布
最新推荐文章于 2022-01-28 10:16:04 发布
阅读量236 收藏
点赞数
分类专栏： bigdata 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elizabethxxy/article/details/104338488
版权
这篇大数据学习笔记详细介绍了Hadoop 2.x的四种架构模型，包括NameNode与ResourceManager的单节点、高可用配置。讨论了NameNode、secondaryNameNode、DataNode、ResourceManager、NodeManager以及JournalNode的角色和功能，强调了高可用性和资源管理的重要性。
摘要由CSDN通过智能技术生成

大数据学习笔记：Hadoop 2.x的版本架构模型介绍

 

第一种：NameNode与ResourceManager单节点架构模型

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种元数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager：负责执行主节点APPmaster分配的任务

 

第二种：NameNo

最低0.47元/天 解锁文章
黄道婆
关注
专栏目录
Hadoop1.x版本和Hadoop2.x版本架构原理
thyyyyyyy的博客
10-18 786
MapReduce 1.x 架构 MapReduce 1.x 采用 Master/Slave 架构，由全局唯一的 Jobtracker 和多个 TaskTacker 组成，并且在Client中提供一系列的api供编程和管理使用。 1.client 提供api供用户编程调用，将用户编写的MapReduce程序提交到JobTracker中。 2. JobTracker 负责资源调度 主节点 发生故...
Hadoop(二)基础概述和基本架构概述
MaggieTang0622的博客
11-09 212
Hadoop基础架构概述
Hadoop2体系结构
张波的技术积累
01-04 9575
hadoop1.0需要解决的几个问题：    1：单点故障问题，HDFS和MapReduce都是Master-Slave的结构，但是Master节点都是单点，一旦出现故障，那么集群就不能正常运行。    2：HDFS存储海量数据是按照Block来存储的，整个存储只有一种格式，企业存储受限，企业的数据非常多样，存储起来容易造成资源的浪费。         当namenode所在机器的内存不够时
Hadoop 2.x 架构
Amazingjadewu
08-31 1601
Hadoop2.0产生背景 一、Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 1、HDFS存在问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统可扩展性 2、MapReduce存在的问题 JobTracker访问压力大，影响系统可扩展性 难以支持除MapReduce计算框架之外的计算框架、比如spar
Hadoop2.0架构
我的学习成长日记
08-14 602
Hadoop1.0的架构请参考另外一篇文章。 Hadoop2.0中对HDFS1和MRv1进行了改进，分别称为HDFS2和YARN(MRv2)。 HDFS的改进 在HDFS 1.0中，NameNode是master node，仅有一个节点，是单机失败的。因此在Hadoop2.0中对单个Namenode做了HA改进： NameNode成为了：Active Namenode和Standby Na...
学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念
01-20
在进入大数据领域时，Hadoop 是一个不可或缺的关键概念。本文将深入探讨Hadoop的基本概念及其在大数据处理中的重要性。...对于想要深入理解和掌握大数据技术的人来说，学习Hadoop是至关重要的第一步。
大数据技术学习笔记之Hive.zip
02-03
这份“大数据技术学习笔记之Hive”旨在帮助我们深入理解并掌握Hive的核心概念和技术应用。 一、Hive概述 Hive主要为非结构化或半结构化的海量数据提供数据仓库服务，通过SQL-like查询语言（HQL）进行数据查询，简化...
大数据之Hadoop资料.zip
03-12
本资料旨在深入解析Hadoop的核心概念、架构以及实际应用，帮助读者掌握分布式计算的基础知识，并能够运用到实际的大数据项目中。 1. Hadoop概述： Hadoop是Apache基金会开发的一个开源框架，主要用于存储和处理大...
Hadoop2.x YARN架构
it小奋
04-02 580
Hadoop 2.X YARN架构 概述:Hadoop2.X 摒弃了1.X中JobTracker扮演的资源调度角色,改用具有更具通用性的YARN 资源管理框架,而YARN本身更是开源集群资源管理的典范. 资源调度: |  切割资源管理和作业调度,监控到不同的守护进程中[daemons],YARN提供了一个全局的资源管理器ResourceManager(RM),每一个应用程序有自己独立的Ap
详解Hadoop核心架构HDFS
11-01
详解Hadoop核心架构HDFS
hadoop 2.x HA底层架构原理分析及hadoop 3.x新特新【小二讲堂】
Mirror_w的博客
04-14 837
本片博客根据工作经验以及源码分析，根据博主自己的理解分析所得。了解之前小二建议先了解Hadoop入门及HDFS底层运行原理讲解https://blog.csdn.net/Mirror_w/article/details/89288212， 一、hadoop HA架构的角色分析 1、namenode 存储元数据，与client客户端进行交互，当服务启动时加载fsimage镜像文件和edits.log...
hadoop的架构模型（1.x，2.x的各种架构模型介绍）
努力赚钱就可以住更好的养老院
09-14 2432
1.x的版本架构模型介绍 文件系统核心模块： NameNode：集群当中的主节点，主要用于管理集群当中的各种数据 secondaryNameNode：主要能用于hadoop当中元数据（后文解释)信息的辅助管理 DataNode：集群当中的从节点，主要用于存储集群当中的各种数据 数据计算核心模块： JobTracker：接收用户的计算请求任务，并分配任务给从节点 TaskTrack...
Hadoop 2.x HA 机制 架构图
Jiashilin
03-19 216
登陆官方配置网站 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
Hadoop 2.x 生态系统及技术架构图
zhouzhiwengang的专栏
03-06 4119
一、负责收集数据的工具： Sqoop（关系型数据导入Hadoop） Flume（日志数据导入Hadoop，支持数据源广泛） Kafka（支持数据源有限，但吞吐大） 二、负责存储数据的工具： HBase MongoDB Cassandra Accumulo MySql Oracle DB2 HDFS（Hadoop Distribut File System）2.0 三、底层组件 Apa...
大数据与Hadoop系列之Hadoop版本认知与架构
跋跋寒的博客
06-06 5601
作为学习Hadoop的第一步，就是根据实际情况选择最合适的 Hadoop版本。而目前由于Hadoop的飞速发展，功能更新和错误修复在不断地迭代着，所以 Hadoop的版本非常多，显得有些杂乱。对于初学者来说，选择一个合适的Hadoop版本进行学习非常重要，本文主要理清各个 Hadoop版本之间的关系与不同。Apache HadoopHadoop目前是 Apache软件基金会的顶级项目，目前由 Ap...
Hadoop 2.x生态系统中常用框架
weixin_34001430的博客
01-31 174
图片1.png
Hadoop2之YARN介绍
olifchou的博客
04-18 1293
Hadoop2之YARN介绍一、简介二、ResourceManager三、NodeManager四、ApplicationMaster五、Application Manager六、Container七、YARN运行过程八、Yarn的容错能力九、Yarn调度器十、结语 一、简介 Hadoop2.x主要由HDFS、YARN和MapReduce三部分组成，其架构图如图1.1所示。 图1.1Hadoop...
hadoop 2.x HDFS系统架构详解
STAR GAME
01-28 4484
HDFS系统架构 分布式文件系统 （1）HDFS的三个组件（三个进程） NameNode： 管理文件系统命名空间（Namespace）： 维护者文件系统树及树中的所有文件和目录 存储元数据（Metadata） fsimage文件存放元信息 文件名、目录名和它们之间的层级关系 文件目录的所有者及其权限 每个文件块的名和每个文件中有哪些块 edits文件保存操作记录 系统运行期间，datanode写操作会造成内存的变化，datanode会告诉namenode哪些文件进行的变动，namenode会根据
haima malala aotuo towin hadoop 2.x(二)大数据视频课程
最新发布
01-19
这个课程将通过视频的形式来讲解Hadoop 2.x的基本概念、架构和工作原理，帮助学习者快速掌握Hadoop的使用技巧和开发能力。 整个课程将分为几个模块，包括Hadoop的概述介绍、HDFS分布式文件系统、MapReduce计算模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值