Hadoop--02---HDFS、YARN、MapReduce 概述

已于 2023-12-24 15:56:34 修改
阅读量240 收藏
点赞数
分类专栏： 大数据Hadoop 文章标签： hadoop mapreduce hdfs
于 2022-05-15 20:01:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48052161/article/details/124783512
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

HDFS、YARN、MapReduce 概述

在这里插入图片描述

https://hadoop.apache.org/

在这里插入图片描述

1.HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.YARN 架构概述

Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop 的资源管理器。

在这里插入图片描述

3.MapReduce 架构概述

MapReduce是一个 分布式计算的编程框架

MapReduce 将计算过程分为两个阶段：Map 和Reduce

1）Map 阶段并行处理输入数据

2）Reduce 阶段对Map 结果进行汇总

在这里插入图片描述

4.HDFS、YARN、MapReduce 三者关系

在这里插入图片描述

大数据技术生态体系

在这里插入图片描述

图中涉及的技术名词解释如下：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

推荐系统框架图

在这里插入图片描述

知行合一。。。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-3.1.0.rar windows 环境依赖
01-12
4. **配置Hadoop**：修改Hadoop的配置文件，如`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`，指定本地文件系统的路径和HDFS的相关参数。 5. **格式化NameNode**：首次启动Hadoop时，需要对NameNode进行格式...
hadoop-2.7.4.tar.gz
08-18
3. **YARN（Yet Another Resource Negotiator）**：在Hadoop 2.x版本中引入，YARN作为资源管理系统，负责集群资源的调度和管理，将原本在MapReduce中的资源管理和任务调度职责分离，提高了系统的效率和灵活性。...
Hadoop ----HDFS MapReduce
qq_59472803的博客
11-20 1531
HDFS NameNode 负责管理DataNode 保存所有的元数据(目录的位置结构 存储的磁盘位置) 是HDFS的核心 是单点故障 一旦出现问题 整个HDFS不在对外提供服务· edits 操作日志文件 fsimage元数据文件 SecondaryNameNode 获取NameNode的数据延后将新的NameNode数据进行合并 然后再次写入NameNode中 DataNode 负责数据的存储 数据是按块存储的 hadoop 2.XXX以后 128M DataNode定时（心跳机制） 将.
Hadoop-3.1.3部署
hunheidaode的博客
12-09 2921
1.准备3台机器 2核2G即可 ip 配置 192.168.56.211 2核2G即可 192.168.56.212 2核2G即可 192.168.56.213 2核2G即可 在每台机器配置 /etc/hosts 添加：（192.168.56.211（master节点），192.168.56.212（node1节点），192.168.56.213（node2节点））每台机器都添加 修改每台机器名字 [root@master~]# vim /etc...
Hadoop之hadoop-mapreduce-examples测试执行及报错处理
热门推荐
月生的静心苑
12-16 1万+
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。
Hadoop-3.3.5伪分布式安装
最新发布
qq_46480020的博客
03-29 907
hadoop-3.3.5伪分布式安装，并做了一些优化配置
hadoop-mapreduce-examples
hzdxw的专栏
06-13 3880
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jar pi 2 5 [root@name01 cmake-2.8.12.2]# hadoop version Hadoop 2.3.0-cdh5.1.0 Subversion git://github.sf.cloudera.com/CDH/
集群配置 hadoop-3.1.3 版本
QQ202240702博客
09-22 1535
如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。
hadoop-2.7.3安装
m0_55834564的博客
09-16 1818
6.hadoop02，hadoop03重复3-5的步骤配置就可以。1.上传hadoop-2.7.3.tar.gz到指定位置。2.hadoop02，hadoop03重复步骤配置就可以。在这里hadoop-2.7.3.tar.gz，官网下载。3.创建配置CentOS-DVD.repo。1. 配置mapred-site.xml。4.配置mapred-site.xml。在esc状态下：set nu显示行号。3.配置hadoop-env.sh。1.配置core-site.xml。2.配置hdfs-site.xml。
Hadoop笔记04-Hadoop-Yarn
王劭阳的博客
04-12 2754
Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基础架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 Yarn工作机制 MapReduce程序提交到客户端所在结点 YarnRunner向ResourceManager申请一个Application ResourceMa
Hadoop--yarn--MapReduce安装配置
没有合适的昵称
07-15 2474
在yarn-site.xml中增加如下的配置 <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> <description>表示ResourceManager安装的主机</d...
hadoop-3.1.1-src.tar
11-13
2. **MapReduce源码**：MapReduce源码位于`hadoop-mapreduce-project/hadoop-mapreduce-client`和`hadoop-mapreduce-server`模块。重点包括JobTracker（YARN环境下的ResourceManager）和TaskTracker（YARN环境下的...
hadoop-2.6.1-windows.zip
05-19
至此，Hadoop的分布式文件系统HDFS和MapReduce计算框架已在Windows X64环境中成功启动。你可以通过浏览器访问`http://localhost:50070`和`http://localhost:8088`，查看NameNode和ResourceManager的状态。 对于Java...
hadoop-common-bin2.7
06-21
它为Hadoop的其他组件，如HDFS、MapReduce和YARN，提供了必要的底层服务。 1. **文件系统接口**：Hadoop Common提供了抽象的文件系统API，使得开发者可以透明地访问各种分布式存储系统，如HDFS、本地文件系统、S3等...
大数据 -- 01-- 简介、环境搭建
时光里的博客
11-19 2589
大数据 简单来说大数据就是海量数据及其处理方式. 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中 大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。 大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多
Hive--11---函数-----split() 、lateral view 、explode() 、posexplode()
时光里的博客
05-08 1635
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录lateral view 、explode lateral view 、explode https://blog.csdn.net/weixin_43230682/article/details/108096441 https://blog.csdn.net/xuehuagongzi000/article/details/121497949 https://blog.csdn.net/qq_41489540/article/de.
大数据 -- 04-- Hive
时光里的博客
11-24 449
Hive Hadoop在分布式数据处理中遇到的问题 MR开发调试复杂，不适合要求快速得出结果的场景。 Hadoop由Java开发，对JAVA支持最好，对其他语言的使用者不够友好。 需要对Hadoop底层具有一定的了解，并且熟悉API才能开发出优秀的MR程序。 概述 Hive是一个建立在Hadoop基础之上的数据仓库工具，以HiveQL（类SQL）的操作方式让我们能够轻松的实现分布式的海量离线数据处理。而不必去编写调试繁琐的MR程序。 优点： 避免了MR繁琐的开发调试过程，Hive自动将我们输入的HQ
大数据 -- 05-- Kafka
时光里的博客
11-26 314
Kafka Kafka简介 他是一个MQ，作用：削峰平谷 ActiveQM（6k）、RabbitMQ(1.2w) 适用与业务系统（对事务要求极高） ZeroMQ(25-50w)、Kafka(25-50w) 适用于大数据（对速度和吞吐量要求高，海量数据中，数据可能丢失，但对结果影响微乎其微） Kafka为发布/订阅模式。 Kafka已经成为大数据业界主流。 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性: 可以让你发布和订阅流式的记录
配置Hadoop集群：core-site, hdfs-site, yarn-site.xml详解
该文件是关于集群配置修改的指导，主要涉及了Hadoop集群的三个核心组件：HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource Negotiator）的配置调整。文件中提供了对`core-site.xml`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值