Hadoop的组成

最新推荐文章于 2022-11-14 22:41:51 发布
最新推荐文章于 2022-11-14 22:41:51 发布
阅读量129 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengs1/article/details/102852597
版权

HDFS

文件系统核心模块:
NameNode：集群当中的主节点，主要用于管理集群当中的各种元数据
secondaryNameNode：主要能用于Hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

在这里插入图片描述

MapResource

数据计算核心模块
JobTracker：接收用户的计算请求任务，并分配任务给从节点
TaskTracker：负责执行主节点JobTracker分配的任务
在这里插入图片描述

YARN

资源调度核心模块
ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用
NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

在这里插入图片描述

fengs1
关注
专栏目录
Hadoop 组成
m0_64879847的博客
06-30 359
Hadoop 组成
Hadoop版本区别&Hadoop组成
weixin_44466903的博客
09-12 2196
1. Hadoop版本差异 Hadoop 1.x hadoop 2.x MapReduce（计算+资源调度） MapReduce(计算) —— Yarn（资源调度） HDFS(数据存储） HDFS(数据存储) Common(辅助工具) Common（辅助工具） 在Hadoop1.x 时代，Hadoop中的Mapreduce同时处理业务逻辑运算和资源的调度，耦合性较大...
大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态
LCreator的博客
02-28 332
从Hadoop框架讨论大数据生态 目录 从Hadoop框架讨论大数据生态 2.1 Hadoop是什么 2.2 Hadoop发展历史（了解） 2.3 Hadoop三大发行版本（了解） 2.4 Hadoop的优势（4高） 2.5 Hadoop组成（面试重点） 2.5.1 HDFS架构概述 2.5.2 YARN架构概述 2.5.3 MapReduce架构概述 2.6 大数据技术生态体系 2.7 推荐系统框架图 2.1 Hadoop是什么 2.2 Hadoop发展历史（了解）
hadoop的组成
m0_46325925的博客
11-18 628
架构主要是有四部分组成，分别为：HDFS Client、NameNode、DataNode和SecondaryNameNode (1)Client:就是客户端 a）文件切分。文件上传hdfs的时候，并不是把一个大文件原封不动的上传上去，而是由Client先将文件切分成一个一个的block，然后按照block进行存储 b）与NameNode交互，获取文件的位置信息，客户端想要传输数据，必须先与namenode通信，获取相应的datanode的地址 c）与DataNode交互，进行读取数据或者写入数据，data
Hadoop集群的组成成份
AStar的博客
01-23 1664
一、Hadoop的核心功能有两个： HDFS与MapReduce。 与HDFS相关的服务有 NameNode、SecondaryNameNode 及DataNode； 与MapReduce相关的服务有 JobTracker和TaskTracker两种。 二、Hadoop集群中有两种角色： master与slave，master又分为主master与次master。 其中：
Hadoop的组成部分
热门推荐
weixin_45749011的博客
11-04 2万+
Hadoop的组成部分有: HDFS: 海量数据的存储系统 Map Reduce: 海量数据的计算系统（计算框架） YARN: 集群资源管理（调度）的框架。 HDFS 管理者：NameNode 作用：负责管理，管理集群内各个节点。 负责管理整个文件系统的元数据（指的是数据的存放位置或存放路径）或名字空间 辅助管理者：SecondaryNameNode 作用：责辅助NameNode管理工...
Hadoop组成架构
LL0911的博客
12-03 369
Hadoop组成架构 Hadoop是apache用来“处理海量数据存储和海量数据分析”的分布式系统基础架构，更广义的是指hadoop生态圈。 Hadoop的优势 　　高可靠性：hadoop底层维护多个数据副本，即使某个计算单元故障，也不会导致数据丢失。 　　高扩展性：天然支持分布式，可方便的扩展至几千个节点。 　　高容错性：能够自动将失败的任务重新分配。 　　高效性：在mapReduce的思想下，hadoop是并行工作处理任务的。 Hadoop1.x和Hadoop2.x的区别 MapReduce架构概述
Hadoop组成及各组件架构概述
LuciferLonelines的博客
11-14 2031
Hadoop组成及各组件架构
Hadoop学习
weixin_40701758的博客
08-13 986
一、Hadoop的组成部分 1、HDFS（hadoop的组成部分，负责海量数据的存储） NameNode（nn）：管理真实的数据的元数据（也就是文件、日志、视频、图片、等） DataNode（dn）主要进行负责真实数据的块存储 SecondaryNameNode（2nn）：主要是对NameNode进行数据的备份，一般要恢复数据时候才会用到这个的 2、YARN（主要负责资源的调度） ResourcesM...
Hadoop组成
weixin_45264992的博客
10-21 96
Hadoop组成 一、HDFS 是一个分布式文件系统 HDFS架构概述： 1、NameNode(nn): 用来存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等 2、DataNode(dn)： 在本地文件系统存储文件块数据，以及块数据的校验和 3、Secondary NameNode(2nn): 每隔一段时间对NameNode元数据进行备份。 二、YARN架构概述： 1、ResourceManager(RM): 整个集群资源（内
Hadoop--Hadoop的组成
咸鱼妹
11-28 85
Hadoop的组成: 在Hadoop2.x中 MapReduce ---->计算 Yarn ---->资源调度 HDFS ---->数据存储 Common ---->辅助工具 在Hadoop1.x中 , MapReduce同事处理业务逻辑运算和资源调度. 在Hadoop2.x中 ,...
Hadoop 介绍及集群搭建
半吊子Kyle的博客
06-09 1815
Hadoop 介绍及集群搭建第一章 Hadoop 介绍1.2 Hadoop 架构演变1.2.1 1.x版本架构模型介绍1.2.2 2.x版本的架构模型1.2.3 3.x 版本架构和模型介绍第二章 Hadoop 集群搭建2.1 环境准备2.2 Hadoop 安装包介绍2.3 集群配置规划2.4 Hadoop 配置2.4.1 修改 hadoop-env.sh2.4.2 修改 core-site.xml2.4.3 修改 hdfs-site.xml2.4.4 修改 mapred-site.xml2.4.5 修改
Hadoop(一) 简介 集群搭建
开开心心
03-27 366
目录 Hadoop简介 1.1Hadoop产生的背景 1.2 Hadoop的优势 1.3 Hadoop组成 1.4 大数据技术生态体系图 Hadoop集群安装 linux的集群配置: 参照linux集群的配置 安装相应的软件 hadoop集群的配置 修改以下配置文件 ssh免密登陆的设置 拷贝hadoop的配置文件到其他结点 格式化namenode Hadoop简...
Hadoop架构组成
m0_62725661的博客
10-28 1617
主要由 ResourceManager 、 NodeManager 、Applica- tionMaster（MRAppMstr/MPIAppMstr）和 Container等组件构成。HDFS的管理者，接受并处理Client向Hadoop发送请求以及接收来自DataNode的周期性的信息。全局资源管理器，对每个 NodeManager上的资源进行统一管理和调度。切分文件：文件上传HDFS的时候，将文件切成一个个Block再进行存储。根据容量、队列等条件将系统的资源分配给运行的应用程序（纯调度器）
Hadoop集群简介
qq_52175048的博客
11-05 2276
Hadoop集群整体概述，MapReduce，HDFS架构概述，YARN架构概述，MapReduce架构概述，HDFS、YARN、MapReduce三者关系，大数据技术生态体系，推荐系统项目框架
大数据平台，Hadoop集群架构，概述及原理
无求道贾的博客
04-02 5776
大数据平台，Hadoop集群架构，概述及原理，通俗易懂，全程无废话。
hadoop组成及其架构
shenBaoYun的博客
07-12 7557
HDFS读写数据流程以及优缺点 MapReduce工作原理及shuffle详解 yarn工作机制、调度器及调度算法
Hadoop的组成结构
最新发布
06-09
Hadoop的组成结构包括以下几个核心组件： 1. HDFS（Hadoop Distributed File System）：是Hadoop的分布式文件系统，用于存储数据。 2. MapReduce：是Hadoop的分布式计算框架，用于处理数据。 3. YARN（Yet ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值