MapReduce在Yarn上执行流程

最新推荐文章于 2024-05-17 18:19:08 发布
VIP文章 最新推荐文章于 2024-05-17 18:19:08 发布
阅读量655 收藏
点赞数 2
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58078092/article/details/120538488
版权

目录

1、执行流程 

2、Yarn核心组件功能 

1、执行流程 

首先，Resource Manager会为每一个application（比如一个用户提交的MapReduce job）在NodeManager里面申请一个container，然后在该container里面启动一个Application Master。container在Yarn中是分配资源的容器（内存、cpu、硬盘等），它启动时便会相应启动一个JVM。

然后，Application Master便陆续为application包含的每一个task（一个Map task或Reduce task）向Resource Manager申请一份container。等每得到一个container后，便要求该container所属的NodeManager将此container启动，然后就在这个container里面执行相应的task&#

最低0.47元/天 解锁文章
It.explorer
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce执行流程
03-04
MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduceworker读取map任务的输出文件6.执行reduce任务，将任务输出保存到HDFS若对流程细节进行深究，可以得到这样一张流程图从生命周期的角度来看，mapreduce流程大概经历这样几个阶段：初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下1
YARN的三大组件及调度流程
祁小北de博客
07-16 307
YARN的三大组件及调度流程
Yarn（三）Yarn三大组件介绍
Running_Tiger的博客
02-09 4954
Yarn（三）Yarn三大组件介绍Yarn三大组件介绍1. ResourceManager ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和内存的使用情况）。RM 只接受 NM 的资源回报信息，对于具体的资源处理则交给 NM 自己处理。 YARN
MapReduce在Yarn上的运行流程
huihuisd的博客
05-12 1025
运行示意图： MapReduce程序是在Yarn上运行的，job任务还没提交到集群之前，客户端要先进行切片，默认是按照128M来切片。切片的信息会序列化成一个文件到hdfs上。接下来客户端将任务提交给了yarn集群，想让yarn集群来运行。Yarn集群又由Resource Manager和Node Manager做成，Resource Manager是管理者，Node Manager是真正要运行任务的节点。yarn接受到了客户端的请求，会要求在某个Node Manager上开辟一个容器，启动APPMa
Yarn工作原理
qq_43012693的博客
09-15 1593
基本架构 Yarn的架构是master/slaves的主从架构 master:ResourceManager->全局资源管理 负责集群全局统一的资源管理、调度、分配 slave:NodeManager->节点资源管理器 启动了NodeManager进程的节点 负责管理节点的资源及使用情况 Yarn核心组件：包括ResouceManager和NodeManager ApplicatonMaster:每一个job产生一个ApplicationMaster，方便管理 Container：每
YARN核心组件功能特性分析
Xlucas的博客
07-15 761
YARN组件介绍说明
hadoop-yarn资源调度
Xiaoweidumpb
10-30 785
1.yarn的介绍： ​ yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。 yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM） ​ 总
MapReduce运行流程和Yarn处理流程
wlk_328909605的博客
08-25 1426
1.首先从代码说起， MapTask类中有四个方法可以被重写，cleanup，map，run，setup setup的主要作用是加载一些资源，或者是在map阶段只需要一次运行的东西。 map主要负责处理数据 cleanup负责清理资源，释放资源 run负责调度这三个方法。 ReduceTask类中也类似。 2.MapReduce运行流程 可能文件的内容比较大，所以先将文件切...
Yarn架构原理
NC_NE的博客
10-17 477
一、基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 1）ResourceManager（RM） （1）处理客户端请求 （2）监控NodeManager （3）启动或监控ApplicatitionMaster （4）资源的分配和调度 2）NodeManager (NM) （1） 管理单节点上的资源 ...
MapReduce(MR)的整体执行流程: (Yarn 模式)
qq_60410574的博客
12-01 4155
MapReduce(MR)的整体执行流程: (Yarn 模式)
MapReduce\Yarn架构
01-27
用戶編寫的MapReduce程序通過Client提交到JobTracker端；同時，用戶可通過Client提供的一些接口查看作業運行狀態。在Hadoop內部用“作業” （Job）表示MapReduce程序。每一個Job都會在用戶端通過Client類將應用程序...
Hadoop新MapReduce框架Yarn详解
03-04
使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：图1.Hadoop原MapReduce架构从上图中可以清楚的看出原MapReduce程序的流程及设计思路：可以看得出原来的map-reduce架构是...
hadoop中MapReduce和yarn的基本原理讲解
mocas_wang的博客
08-15 2115
目录 1 MapReduce 1.1 执行流程 1.2 工作原理 Map任务处理 Reduce任务处理 MR的Shuffle过程 1.3 运行流程分析 2 yarn 2.1简介 2.2 组成 1. ResourceManager 2. NodeManager 3.ApplicationMaster（AM） 4. Container 2.3 工作原理 1 MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和.
yarn的组成结构及各个组件功能
weixin_40035337的博客
08-24 7933
yarn 主要由ResourceManager、NodeManager、ApplicationMaster、Container、Scheduler等几个组件构成。 ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。 它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM），通俗讲是用于管理NodeManager节点的资源，包括cup、内存等。 Sc...
YARN 的架构是怎样的？YARN 的核心组件有哪些？
Shockang的博客
06-17 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 YARN是经典的主从（master/slave）结构，如下图所示。 大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave）。 ApplicationM
Yarn基本介绍（一）
BigSHI_0822的博客
10-16 2142
yarn基本介绍
YARN的主要组件及功能简介
热门推荐
kopshome的专栏
03-07 1万+
--总体概述      --yarn总体上是Master/slaves结构,整个架构中,resourcemanager(RM)是主节点,nodemanager(NM)是从节点,RM对NM上的资源进行统一管理和调度;当用户提交一个应用程序后,需要提供一个跟踪,管理这个程序的applicationMaster(AM),AM负责像RM申请资源,并要求NM启动可以占用一定资源的任务,不停的AM分配到不同
一起揭开 YARN 的神秘面纱
Pysamlam的博客
10-06 178
我们知道MapReduce1.0，是把计算框架和资源调度框架都弄在一起了，所以Master端的JobTracker会大包大揽去执行任务，存在很多问题，比如资源分配不均、单点故障会导致整个集...
深度优化Hadoop NameNode读写性能
最新发布
李姓门徒
05-17 1141
在整个公司范围内，我们都在积极推行“降本增效”的理念。从开发角度出发，这意味着我们需要在负责的项目中寻找合适的优化点，通过提升性能来实现降低成本的目标。因此，我们开始考虑是否可以在HDFS上进行进一步的优化。结合在使用HDFS过程中遇到的性能瓶颈问题，我们逐步明确了接下来要实施的性能优化方案。
mapreduce on yarn 执行流程
04-01
1. 提交作业：用户提交一个MapReduce作业给YARN Resource Manager（RM）...以上是MapReduce on YARN的执行流程，其中涉及到多个组件的协作，包括RM、NM、AM、Map任务、Reducer任务等，实现了对数据的分布式处理和计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值