【若泽大数据实战第十五天】关于HDFS、YARN及MapReduce的总结

最新推荐文章于 2024-10-21 21:27:26 发布
最新推荐文章于 2024-10-21 21:27:26 发布
阅读量460 收藏
点赞数
分类专栏： 【若泽大数据】零基础班实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24073707/article/details/80472195
版权
本文总结了HDFS的Namenode和DataNode角色及其交互，YARN的ResourceManager、NodeManager和ApplicationMaster的功能，以及MapReduce的工作流程和组成部分，帮助读者清晰理解这三个大数据组件。
摘要由CSDN通过智能技术生成
前言：

有很多小伙伴对这几个东西的概念有些模糊，这里我做一个总结，希望大家能一篇看懂。

一、HDFS

HDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。

Namenode是hdfs中文件目录和文件分配管理者，它保存着文件名和数据块的映射管理，数据块和datanode列表的映射关系。其中文件名和数据块的关系保存在磁盘上，但是namenode上不保存数据块和datanode列表的关系，该列表是通过datanode上报建立起来的。

Namenode上的有三种交互，1、client访问namenode获取的相关datanode的信息。2、datanode心跳汇报当前block的情况。3、secondarynamenode

最低0.47元/天 解锁文章
【若泽大数据实战第十四天】YARN 生产详解
强悍de巨人
05-29 809
前言：上节课我们讲了 MR job的提交Yarn的工作流程Yarn的工作流程MR架构设计Yarn（主从） 资源  + 作业调度管理Yarn：是一种新的 Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。ResourceManager(RM)：主要接收客户端任务请求，接收和监控NodeManag...
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2492
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
《Hadoop实战第2版》Yarn学习笔记一（原理）
王亮的博客
02-05 378
总体内容：1、MR局限性，   2、第二代MR(yarn)主要思想架构 一、Hadoop MapReduce框架的局限性  1、JobTracker单点瓶颈。由于JobTracker负责作业的分发、管理和调度，还要和集群中所有的节点保持heartbeat通信， 了解机器的运行状态和资源情况，随着集群的数量和提交job数量的增加，JobTracker任务量随之上涨，造成JobTracke
YARN作业运行机制
shoubuliaolebu的专栏
03-15 6725
转自：http://ju.outofmemory.cn/entry/87825 在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源, 应
Hadoop 经典案例：词频统计
热门推荐
wcnmcsdn的博客
04-07 1万+
全文作为个人记录用。不做任何参考。环境搭建参考：http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html词频代码参考：https://blog.csdn.net/a60782885/article/details/713082561、环境搭建总共选择了3台虚拟机作为本次的主角master:192.168.21.130s...
Yarn中的ResourceManager分析
03-27 3999
ResourceManager (RM) 是管理集群所有可用资源的中心节点，并能够帮助管理YARN上的分部署applications。他和每个节点上的 NodeManagers (NMs) 和  ApplicationMasters (AMs) 一起工作。 NodeManagers 从ResourceManager获取指示，管理单节点上的可用资源。ApplicationMasters 负责同
大数据之——Hadoop的HDFS、YARN、MapReduce
m0_73991249的博客
10-21 2716
如何看他们的关系？首先HDFS将【NameNode】部署到一个节点先，分出多个【DataNode】分布到各个节点上，里面分别存储了将总的海量数据分散了的【子数据】，最后还要有一个节点有【Secondary NameNode】来备份【NameNode】的数据；
大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
匠人精神，持之以恒！
12-14 5117
文章目录一、概述HDFS的设计特点二、HDFS组成1）Client2）NameNode（NN）3）DataNode（DN）4）Secondary NameNode（2NN）三、HDFS具体工作原理1）两个核心的数据结构: Fslmage和EditLog2）工作流程3）HDFS读文件流程4）HDFS文件写入流程四、安装Hadoop（HDFS+Yarn）1）环境准备2）下载最新的Hadoop安装包3）进行服务器及Hadoop的初始化配置五、helm3安装HDFS1）前期准备2）创建命名空间&拉包3）创建
【图解大数据技术】Hadoop、HDFS、MapReduce、Yarn
weixin_43889578的博客
06-29 2353
MapReduce是一个分布式离线计算框架，专门用于处理大数据场景中与实时性无关的一些离线计算任务。MapReduce的数据输入一般是HDFS，然后经过InputFormat进行输入格式化，变成格式；然后执行用户实现的Mapper类型的map方法，进行数据映射，映射处理的结果也是格式；然后执行一个shuffle过程，对映射结果进行按key进行分组分区，把同一区域的所有KV发送到同一个Reducer，由一个节点进行；Reducer对同一个key分组下的所有value进行聚合操作；
HDFS、YARN、MapReduce概述及三者之间的关系(图解)
HGl1327401792的博客
01-20 3508
HDFS(Hadoop Distributed File System) 是一种分布式文件系统，用于处理在商业硬件上运行的大型数据集。它用于将单个 Apache Hadoop 集群扩展到数百 （甚至数千）个节点。HDFS 是的主要组件之一，其他组件包括MapReduce和 YARN。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。MapReduce是一种分布式计算框架。
关于 HDFS，Yarn，MapReduce，HBase，Hive，Pig，Sqoop，Flume，Zookeeper，MemCached，Redis，Storm，Scala，Spark，F.zip
01-02
关于 HDFS，Yarn，MapReduce，HBase，Hive，Pig，Sqoop，Flume，Zookeeper，MemCached，Redis，Storm，Scala，Spark，Flink 等大数据框架的学习笔记大数据学习指南概述传统的 OLTP系统的数据一般是存储在关系型...
HDFS、YARN、MapReduce概述及三者之间的关系
weixin_49415186的博客
01-27 8477
一、HDFS架构概述 1、NameNode（nn）: 存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 2nn：每隔一段时间对NameNode元数据备份 ...
hdfs yarn mapreduce大数据配置
最新发布
01-09
### 关于HDFS、YARN和MapReduce的大数据集群配置教程最佳实践 #### HDFS 配置详解 对于HDFS而言，在Linux环境下运行时，其命令结构通常是在标准Linux命令前加上`hadoop fs` 或 `hdfs dfs`。例如，为了查看特定目录...
【若泽大数据实战第七天】MySQL在DBeaver上的使用
强悍de巨人
05-16 1万+
一、创建一张表 create table ruozedata(id int,   name varchar(100),  age int,  age int,   createtime timestamp,   createuser varchar(100),  createuser varchar(100),   updateuser varchar(100) )在建表的...
【若泽大数据实战第六天】大数据平台DB监控软件 dbeaver安装+jdk1.8
强悍de巨人
05-13 2357
一.安装dbeaver需要先需要安装jdk工具 jdk-8u171-windows-x64.exe二、配置环境变量：        1. 打开环境变量配置。计算机→属性→高级系统设置→高级→环境变量，在系统变量中配置。        2. 配置JAVA_HOME。新建，变量名JAVA_HOME，变量值，jdk路径，我的路径是C:\Program Files\Java\jdk1.8.0_171，保存...
【若泽大数据实战第一天】大数据测试平台搭建
强悍de巨人
05-01 2307
QQ猴大数据测试平台环境搭建一、介质需求：虚拟机：VMware Workstation  14.1.1.28517 大小：465.2MB操作系统：CentOS-6.5-x86_64-bin-DVD1.iso 大小：4.16GB二、测试环境搭建：1、虚拟机安装：打开VMware Workstation Pro 点击 ：''下一步 ''勾选''我接受许可协议中的条款(A)'' 点击 ：''下一步 ''...
【若泽大数据实战第十一天】HDFS课程 - 副本数 Block Namenode、datanode、、SecondaryNameNode
强悍de巨人
05-20 1813
前言：我把kafka的前置课程写完了，对kafka有了一定的了解，接下去我将把HDFS的课程写的详细一些。1.HDFS进程NameNode（NN）：名称节点  ->   client第一个操作的对象DataNode（DN）：数据节点    --> 存储数据的 Secondary NameNode（SNN）--> 第二名称节点2.block（数据块）block大小：      默认...
【若泽大数据实战第十七天】Hadoop-2.6.0-cdh5.7.0安装详解
强悍de巨人
06-03 1779
前言：apache hadoop版本告一段落，现在安装新的cdh版本的hadoop下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software...
【若泽大数据实战第十六天】Hive的安装部署 + 课程一个月总结
强悍de巨人
06-02 1366
前言：Hadoop的课程已经告一段落，基本上在零基础课程里不会再出现了，接下来的课程由若总来上，第一讲Have。复习前一个月的课程内容：1、LinuxLinux： 文件(*****) 权限(*****) 压缩/解压(*****) 软件安装: JDK/MySQL/Hadoop/...(*****)2、MySQLDDL/DML(GROUP BY/JOIN:是大数据处理中的超级杀手:shuffl...
大数据平台基础组件解析：HDFS、HBase、MapReduce与YARN
"该资源是一个关于大数据平台基础组件的PPT介绍，涵盖了大数据的基本概念、HDFS、HBase、MapReduce以及YARN组件的讲解，同时也探讨了大数据行业的应用和未来技术趋势。" 正文: 大数据平台是现代企业处理海量数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值