Yarn工作流程

最新推荐文章于 2023-11-27 04:24:57 发布
最新推荐文章于 2023-11-27 04:24:57 发布
阅读量291 收藏
点赞数
分类专栏： Yarn 文章标签： yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elpsyco/article/details/100737954
版权

hadoop1.x的时候 MapReduce存在的问题

  • job类型
    • 只能是MapReduce任务
  • 集群资源管理
    • 只有一个jobTracker ，单点故障（SPOF）
    • 每个Slave机器可运行的最大Map Task和Reduce Task数量固定
  • 难以共享集群
    • Spark Storm

yarn 工作流程

  • 1 用户向yarn提交应用程序 ，其中报告用户程序，相关文件，启动applicationMaster命令
  • 2 ResourceManager 为该应用程序分配一个Container，并且与Container 所在的NodeManager 通信，要求NodeManager在这个Container中启动应用程序对应的applicationMaster
  • 3 applicationMaster首先会向ResourceManager注册 ，用户可以直接通过ResourceManager查看应用程序状态，然后为它准备该应用程序各个任务申请资源，并监控他们的运行状态直到运行结束 重复4-7步骤
  • 4 applicationMaster 采取轮询的方式通过RPC协议向ResourceManager申请和领取资源
  • 5 一旦applicationMaster申请到资源后，便会与申请到的Container所对应的nodeManager进行通信，并且要求它在该Container中启动任务
  • 6 任务启动，nodeManager为要启动的任务配置好环境，包括环境变量，jar包，二进制程序
  • 7 各个任务通过RPC 协议向其对应的applicationMaster汇报自己的运行状态和进度，以让applicationMaster随时掌握各个人物的运行状态，从而可以再任务运行失败是重启任务
  • 8 运行完毕后，applicationMaster会向ResourceManager要求注销自己
elpsyco
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn基本运作流程
08-16
yarn各节点运作流程
YARN工作流程
loser与你
10-09 5653
YARN工作流程 1.基本架构  YARN总体上仍然是Master/Slave结构，ResourceManager为Master，NodeManager为Slave。ResourceManager负责对每个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManager启动可以用一定资源的任务。  YARN主要由ResourceManager、Nod
yarn工作流程详解
最新发布
wyq1357的博客
11-27 867
yarn工作流程详解
YARN 集群的工作流程
tianxingcheng的博客
05-31 986
ApplicationMaster负责协调应用程序运行所需的所有资源。3. 分配资源：ResourceManager根据应用程序的资源需求，从集群资源池中分配适当的资源，向ApplicationMaster分配它所需要的Container。7. Container释放：任务执行完毕后，Container将被释放，资源被返回到ResourceManager的资源池中，可以被其他应用程序使用。以上是YARN集群的工作流程，YARN的主要功能是为Hadoop集群中的各个应用程序提供统一的资源管理和调度机制。
YARN原理及工作流程详解
qq_45725767的博客
10-29 8908
在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的 在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。 ①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。 ②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时
YARN工作流程详解
qq_654603797
11-14 6495
YARN基本组成： YARN的基本结构由一个ResourceManager与多个NodeManager组成。 ResourceManager负责对NodeManager所持有的资源进行统一管理和调度。当在处理一个作业时ResourceManager会在NodeManager所在节点创建一全权负责单个作业运行和监控的程序ApplicationMaster。 ResouceManager（简称RM）： 资源管理器负责整个集群资源的调度，该组件由两部分构成：调度器（Scheduler）和Applica
yarn的工作流程
qq_43368947的博客
06-22 1401
yarn的工作流程 流程描述： 1 作业提交 （1）client 调用 job.waitForCompletion方法，向整个集群提交MapReduce作业. （2）client 向 ResourceManager 申请一个作业id. （3）ResourceManager 给client返回该job资源的提交路径（HDFS路径）和作业id ,每一个作业都有一个唯一的id. （4）client 发送jar包 、切片信息和配置文件到指定的资源提交路径. （5）client提交完资源后，向ResourceMan
Yarn详细的工作流程
weixin_45793819的博客
03-15 2091
yarn详细工作流程 第一步：客户端向ResourceManager 申请运行程序 第二步：ResourceManager 检查是否有运行权限，如果有就会返回jobid和程序提交的资源路径 第三步：根据ResourceManager返回的信息，然后执行 第四步：客户端提交程序的资源到tmp/hadoop-yarn-staging/job_id目录下（jar程序本身，job.split逻辑切规划文...
YARN 工作流程详解
StormWangxhu的博客
11-27 3658
YARN 工作流程详解 YARN，全称 Yet Another Resource Negotitator ，另一种资源协调者。是大数据领域非常优秀的资源调度管理组件。 很多大数据框架将 YARN 作业自己的资源调度工具，如 Spark。 主要学习： 是什么 干什么 怎么干的 Yarn 从功能上来说，主要负责数据计算中的两件事情：资源管理、程序调度。主要由两个核心模块构成，即 ResourceManager、NodeManager。其中，ResourceManager是统揽全局的核心，NodeManage
YARN的工作流程
libo__hadoop 大数据
03-23 2266
1、用户向YARN中提交应用程序，其中包括ApplicationMaster（AM）程序，启动AM的命令，用户程序等。 2、ResourceManger(RM)为该程序分配第一个Container，并与对应的NodeManger通讯，要求它在这个Container 中启动应用程序AM。 3、AM首先向RM注册，这样用户可以直接通过RM查看应用程序的运行状态，然后将为各个任务申请资源，并监控
Yarn的工作流程
帅成一匹马
07-03 8749
Yarn是用于进行任务调度和资源管理的框架. Yarn的组件主要包括: ResourceManager : 资源管理 Application Master : 任务调度 NodeManager : 节点管理,负责执行任务 Yarn的工作流程如下图所示: 用户向Yarn中提交一个MR(MapReduce)任务,由ResourceManager中的Applications Mana...
Yarn的基本工作流程
aijiudu的博客
07-15 2586
Yarn基本工作流程图和步骤解释
Yarn的工作流程（mr提交应用程序）
qq_34382453的博客
10-16 1344
Yarn的工作流程如下图： 1、 用户向Yarn提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2、ResourceManager为该程序分配第一个Container,并与对应的NodeManager通信，要求它在对应的Container中启动应用程序的ApplicationMaster。 3、ApplicationMas...
yarn工作流程
qq_42506914的博客
01-10 378
ResourceManager RM NodeManager NM ApplicationMaster AM 1、Mr程序提交到客户机所在的节点，会根据配置来决定是本地运行还是yran运行。 2、yarn运行的话，它会向RM发起请求，RM返回Job的工作目录和id 3、客户机把Job运行所需的资源提交上去，job.split  job.xml jar包 4、资源提交完毕后，客户机向RM...
YARN工作流程总结
weixin_41507573的博客
09-04 150
yarn 工作流程 1.client 向resourceManager申请提交一个Application 2.resourceManager返回资源提交的路径给client 3.client 提交job运行所需要的资源文件到路径 4.client 资源提交完毕后，向resourceManager申请运行AppMaster 5.resourceManager 将client的请求初始化成一个task（FIFO调度策略队列：先进先出） 6.nodemanager 领取 resourceManager 发送的t
YARN框架和其工作原理流程介绍
热门推荐
qq_25409421的博客
08-14 1万+
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
大数据入门（五）YARN简介以及工作流程详解
qq_37771475的博客
01-30 2421
Apache YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop的集群资源管理系统。YARN的核心思想是将资源管理和作业调度/监控的功能拆分为单独的守护进程——其中ResourceManager用来管理集群资源，NodeManager用来启动和监控容器。 一、YARN相关概念解析 Container（容器）：是集群资源（包含内存、CPU、磁盘、网络等）的抽象和封装，一个Container就是一组分配的系统资源。 Job / Applicati.
Yarn的运行原理（执行流程）
旧时明月
07-28 3913
1.client向yarn提交job，首先找ResourceManager分配资源， 2.ResourceManager开启一个Container,在Container中运行一个Application manager 3.Application manager找一台nodemanager启动Application master，计算任务所需的计算 4.Application master向A
Hadoop Yarn 工作流程
03-09
Hadoop Yarn 的工作流程是：首先，客户端提交应用程序到 ResourceManager，然后 ResourceManager 分配一个 ApplicationMaster 给该应用程序。ApplicationMaster 向 ResourceManager 请求资源，并将任务分配给 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值