Yarn简单工作机制

最新推荐文章于 2024-10-08 16:39:24 发布
最新推荐文章于 2024-10-08 16:39:24 发布
阅读量66 收藏
点赞数 1
分类专栏： Hadoop 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_x_330/article/details/128496024
版权

Yarn简单工作机制

图片分析

在这里插入图片描述

文字描述

  1. Job提交，生成YarnRunner
  2. YarnRunner向RM申请一个AP
  3. RM返回给YarnRunner一个HDFS上的资源上传路径
  4. YR准备资源信息(切片信息,Jar包,Job信息),提交到HDFS
  5. 资源申请完毕，YR向RM申请运行AP
  6. RM将AP放到队列中
  7. NM领取AP，在容器里面开启MRAppMaster
  8. MPA将HDFS上刚才YR提交的资源拉到本地
  9. 向RM申请运行MapTask资源(也是放到一个队列里等待RM分配)
  10. RM根据NM资源情况，通知NM领取MT,创建容器
  11. MRA向对应容器发布脚本运行程序
  12. 容器里的MapTask去HDFS取数据读到本地
  13. MPA在向RM申请容器，运行ReduceTask程序
  14. RT所在的容器去MT所在的容器将对应的数据COPY到本地容器
  15. 最后将结果写到HDFS上即可
  16. MP向RM告知自己注销,释放资源
C_x_330
关注
专栏目录
Yarn核心工作机制 一
m0_74302467的博客
11-13 151
YARN，Yet Another Resource Negotiator，是Hadoop-2.x 版本中的一个新特性，它为了上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处它的出现是为了解决 MapReduce 编程框架的不足，提高资源利用率，资源包括内存、磁盘、网络、IO等，hadoop-2.x版本中重新设计了 YARN集群，具有更好的扩展性、可用性、可靠性、向后兼容性 以及 支持除了 MapRduce 以外的更多分布式计算程序YARN的核心特性。
Yarn工作机制
StephenYou的自习室
08-27 2476
目录 Yarn概述 Yarn工作机制 名词解释 Yarn工作机制简述 Yarn工作机制详述 作业提交过程 资源调度器 先进先出调度器（FIFO） 容量调度器（Capacity Scheduler）===>Yahoo开发 公平调度器（Fair Scheduler）===>Facebook开发 任务的推测执行 Yarn概述 Yarn是一个资源调度平台，负责为运算程...
hadoop之yarn的工作机制（14）
baidu_21349635的专栏
06-22 432
目录yarn的工作机制 yarn的工作机制
mapreduce&yarn的工作机制
成都往右的博客
10-13 481
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。
MapReduce1和Yarn的工作机制
weixin_34130269的博客
06-10 113
Hadoop中的MapReduce的工作机制分为两种： MapReduce 1 也就是Hadoop 2.0之前的工作机制 YARN MapReduce 1 构成 MapReduce 1最主要的其实就是jobtracker和tasktracker： jobtracker...
Yarn运行机制
我是一名程序猿
07-24 573
简单介绍YARN YARN通过两类长期运行的守护进程提供自己的核心服务： 管理集群上资源使用的资源管理器（Resource Manager） 运行在集群中所有节点上且能够启动和监控容器的节点管理器（Node Manager） 容器用于执行特定应用程序的进程，每个容器都有资源限制(内存、CPU等)，一个容器可以是一个Unix进程，也可以是Linux cgroup，取决于YARN的配置。下图为Y...
Yarn 工作机制
qq_43192537的博客
10-24 287
yarn 工作机制
Yarn工作机制 & 三种调度器
追寻心的步伐
01-12 778
•公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的。默认的资源调度器是 Capacity Scheduler。为了防止同一个用户的作业独占队列中的资源，该调度器会对。框架默认调度器是 Fair Scheduler。1、多队列：每个队列可配置一定的资源量，（2）容量保证：管理员可为。2、容量保证：管理员可为。1）与容量调度器相同点。，则其他队列借调的资源。2）与容量调度器不同点。（1）核心调度策略不同。（3）灵活性：如果一。
简单搞定yarn工作机制
github_36444580的博客
08-13 877
Yarn概述？ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 Yarn的重要概念 1）yarn并不清楚用户提交的程序的运行机制 2）yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源） 3）yarn中的主管角色叫Re
【Yarn篇01】Yarn工作机制和作业提交流程1
08-04
【Yarn工作机制和作业提交流程】是Hadoop生态系统中至关重要的一部分，它负责管理和调度分布式计算资源，确保高效地执行MapReduce等运算程序。Yarn，全称Yet Another Resource Negotiator，是一个资源调度平台，它的...
分布式资源调度管理框架：YARN的架构及工作原理
王义凯 的博客
09-08 2836
Hadoop2.x引入了一个新的组件：YARN，它作为hadoop集群中的资源管理模块，为各类计算框架提供资源的管理和调度。负责管理集群中的资源：CPU，内存，磁盘，网络IO等等（v3.1.1版本之后新增了对GPU资源的管理）以及调度运行在YARN之上的各种计算任务。
YARN工作全解
Saint
07-20 742
首先放张YARN官网的图便于理解： 讲一下YARN的优点（网上一搜一箩筐）： 首先要提一下MapReduce1，它只包含JobTracker（协调在集群上运行的所有作业）和TaskTracker（运行分配的任务并定期向 JobTracker 报告进度），主要存在这样几个问题： JobTracker容易存在单点故障； 既要负责资源管理，又要进行作业调度，负担重；当需处理太多任务时，会造...
大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 887
在数字化时代背景下，图书行业正经历着前所未有的变革。随着互联网的普及和数字阅读平台的兴起，图书的销售和阅读方式日益多样化，产生了海量的图书相关数据。这些数据包括图书销量、读者评价、图书类别、作者信息等，它们对于出版社、书店以及作者本人来说具有极高的价值。有效的数据分析能够帮助相关利益方更好地理解市场趋势，优化图书选题，制定营销策略，提升读者阅读体验。根据中国新闻出版研究院发布的数据，2023年中国图书零售市场码洋规模达到1500亿元，同比增长约10%，其中线上销售码洋规模占比超过70%。
Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
最新发布
weixin_74923758的博客
10-08 845
yarn-site.xml：这个文件包含了YARN（Yet Another Resource Negotiator）的相关配置属性，比如NodeManager的内存限制 (yarn.nodemanager.resource.memory-mb)、ApplicationMaster的内存限制 (yarn.app.mapreduce.am.resource.mb)等。需要注意的是，伪分布式模式仅适用于开发和测试目的，因为只有一个物理/虚拟机器负责运行所有的组件，所以它并不能提供真正的分布式性能和容错能力。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1617
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
大数据毕业设计选题推荐-国产电影数据分析-Python数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-08 1091
随着中国电影市场的蓬勃发展，电影产业已成为我国文化娱乐产业的重要组成部分。根据艾媒咨询的数据，2023年中国“十一”黄金周电影市场总票房累计27.34亿，观影人次超6511.4万，同比增长80%。这一增长态势不仅体现了中国电影市场的活力，也反映了观众对于高质量影视作品的迫切需求。国产电影通过多样化的题材和创新的叙事手法，不断吸引着观众的目光，同时也积累了海量的数据资源。这些数据涵盖了电影的票房、评分、观众评价等多个方面，为电影产业的深入研究提供了丰富的素材。
Hadoop krb5.conf 配置详解
qq_43071699的博客
10-02 747
krb5.conf文件是Kerberos认证系统中的一个关键配置文件，它包含了Kerberos的配置信息，如KDC（Key Distribution Centers）和Kerberos相关域的管理员服务器位置、当前域和Kerberos应用的默认设置、以及主机名与Kerberos域的映射等。以下是对Hadoop环境中krb5.conf。
YARN框架代码详细分析与实现机制
一、YARN简单介绍 YARN是Hadoop 2.0中的一个核心组件，旨在解决Hadoop 1.0中的JobTracker和TaskTracker单点故障问题。YARN框架的主要目标是提供一个通用的资源管理和任务调度机制，能够高效地管理和调度分布式计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

C_x_330

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值