YARN基本原理和YARN工作流程

最新推荐文章于 2024-08-13 22:40:30 发布
最新推荐文章于 2024-08-13 22:40:30 发布
阅读量1.2k 收藏 8
点赞数 1
分类专栏： Hadoop 文章标签： YARN YARN调度器 YARN Scheduler YARN 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37666500/article/details/87832272
版权
本文详细介绍了YARN（Yet Another Resource Negotiator）的基本原理和工作流程，对比了MapReduce 1.0的旧架构问题，强调了YARN如何解决这些问题。在YARN中，ResourceManager负责资源管理，NodeManager监控节点资源，ApplicationMaster管理应用程序，而Container是资源分配的基本单位。此外，文章还探讨了YARN的调度器，包括FIFO、Capacity和Fair调度器的原理，并提到了配置文件位置及YARN的故障恢复机制。
摘要由CSDN通过智能技术生成

Mapreduce 1.0 旧的MapReduce架构

旧的MapReduce架构
、MapReduce架构

基本概念
  • JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错）
  • TaskTracker: 加载或关闭任务，定时报告认为状态
旧的架构的问题
  1. JobTracker是MapReduce的集中处理点，存在单点故障
  2. JobTracker完成了太多的任务，造成了过多的资源消耗，当MapReduce job 非常多的时候，会造成很大的内存开销。这也是业界普遍总结出老Hadoop的MapReduce只能支持4000 节点主机的上限
  3. 在TaskTracker端，以map/reduce task的数目作为资源的表示过于简单，没有考虑到cpu/ 内存的占用情况，如果两个大内存消耗的task被调度到了一块，很容易出现OOM
  4. 在TaskTracker端，把资源强制划分为map task slot和reduce task slot, 如果当系统中只有map task或者只有reduce task的时候，会造成资源的浪费，也就集群资源利用的问题

Hadoop2.0 YARN 架构

在这里插入图片描述
在这里插入图片描述
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力

基本概念
ResourceManager
  • 负责整个集群的资源管理和分配，是一个全局的资源管理系统。
  • NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和
    内存的使用情况）。RM 只接受 NM 的资源回报信息，对于具
最低0.47元/天 解锁文章
m0_37666500
关注
专栏目录
YARN原理及工作流程详解
qq_45725767的博客
10-29 9018
在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的 在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。 ①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。 ②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时
YARN框架和其工作原理流程介绍
热门推荐
qq_25409421的博客
08-14 2万+
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN原理与架构
最新发布
jpfx6008的博客
08-13 1751
ResourceManager会根据ApplicationMaster汇报的心跳报告来动态分配容器（Container），为ApplicationMaster绑定包含一定数量的容器（Container）的租约，ApplicationMaster会根据其自身的执行计划来适应容器（Container）的不足或过剩，同样也会动态的申请或释放容器（Container）。据Hadoop官网介绍，YARN的基本设计思路是将集群资源管理系统划分为多个相互独立的更小规模的功能组件，分别交由相互独立的守护进程进行管理。
YARN原理及其工作流程
似水流年
09-29 6193
一 YARN组成元素及其功能      RM:YARN的管理者      NM:YARN的执行者 二 YARN工作原理      首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算 三 具体流程      第一步: Cli
Yarn---工作机制
shall潇の菜园
03-23 194
Yarn执行过程 看不懂？不要紧，来看下面的例子
YARN框架原理及运行机制
02-24
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，...
Yarn的工作原理
qq_36770189的博客
08-29 2471
Yarn是在hadoop2.x引入的一个新特性。是一个资源调度调度平台，它也只提供资源调度，这样 一来HDFS负责存储，MR负责计算，三者之间互有联系，却又相互独立，耦合性降低。这样一来意味着yarn上可以运行各类的分布式计算程序。 YARN的工作原理：（作业提交机制见：https://blog.csdn.net/qq_36770189/article/details/1001319...
yarn工作流程
qq_42506914的博客
01-10 396
ResourceManager RM NodeManager NM ApplicationMaster AM 1、Mr程序提交到客户机所在的节点，会根据配置来决定是本地运行还是yran运行。 2、yarn运行的话，它会向RM发起请求，RM返回Job的工作目录和id 3、客户机把Job运行所需的资源提交上去，job.split  job.xml jar包 4、资源提交完毕后，客户机向RM...
yarn的工作流程
weixin_42604344的博客
08-01 2464
步骤1　用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 步骤2　ResourceManager为该应用程序分配第一个Container（这里可以理解为一种资源比如内存），并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。 步骤3　Ap...
yarn工作流程详解
wyq1357的博客
11-27 989
yarn工作流程详解
深入分析hadoop之YARN原理、架构、作业流程及调度器
静待花开
03-19 1584
一、YARN的原理 1.1、yarn是什么？ 首先看一下官方对于这个词汇的解释：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop2引入，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 划重点，这里...
Hadoop系列 : Yarn原理解析-工作流程
qq_40651717的博客
12-28 291
Yarn 概述 Yarn是一个资源调度平台 , 负责为运算进程提供服务器运算资源 Yarn上可以运行MapReduce、Storm、tez、Spark、Flink等分布式运算进程 Yarn的运行流程 client向yarn提交job , 首先找到ResourceManager分配资源 ResourceManager开启一个Container , 在Container中运行一个Appl...
YARN工作流程详解
qq_654603797
11-14 6578
YARN基本组成： YARN的基本结构由一个ResourceManager与多个NodeManager组成。 ResourceManager负责对NodeManager所持有的资源进行统一管理和调度。当在处理一个作业时ResourceManager会在NodeManager所在节点创建一全权负责单个作业运行和监控的程序ApplicationMaster。 ResouceManager（简称RM）： 资源管理器负责整个集群资源的调度，该组件由两部分构成：调度器（Scheduler）和Applica
yarn的工作流程图
chengdu1994的博客
11-10 970
@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全...
YARN工作流程
soledede
06-18 193
运行在YARN上的应用程序主要分为两类： （1）短应用程序 （2）长应用程序 短应用程序是指一定时间内（可能是秒级、分钟级或小时级，尽管天级别或者更长时间的也存在，但非常少）可运行完成并正常退出的应用程序，比如MapReduce作业、Tez DAG作业等.   长应用程序是指不出意外，永不终止运行的应用程序，通常是一些服务，比如Storm Service（主要包括Nimbus和S...
四, Hadoop基础架构-YARN工作流程和调度器原理
菜菜的大数据开发の路
08-24 1160
四, Hadoop基础架构-YARN 一, Yarn-资源调度器 Yarn(Yet Another Resource Negotiator)是一个资源调度平台, 负责为运算程序提供服务器运算资源, 相当于一个分布式的操作系统平台, 而MapReduce等运算程序则相当于运行在这个操作系统上的应用程序. 1.1 Yarn 基础架构(RM, NM, AM, Contaioner) Yarn主要由 RM(resource manager), NM(node manager), AM(application
深入解析Hadoop 2.0 YARN架构设计与实现原理
1.YARN的设计思想和基本架构 2.YARN的基本库和组件用法 3.YARN的应用程序设计方法 4.YARN上流行的计算框架（MapReduce、Tez、Storm、Spark） 5.类YARN的开源资源管理系统（Corona和Mesos） 6.YARN的实现细节和应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值