yarn工作机制

最新推荐文章于 2024-05-14 11:19:40 发布
最新推荐文章于 2024-05-14 11:19:40 发布
阅读量410 收藏 9
点赞数 8
文章标签： 前端 javascript 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36213530/article/details/136691013
版权

YARN架构组成

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

yarn的工作机制：这个把applicationMaster看成一种特殊task比较好理解 ,这个task负责一个job数据的切分，任务切分，任务资源申请，监控任务执行。

YARN资源调度策略

任务调度由ResourceManager里的Scheduler负责资源调度，抽象理解为：火车调度室的调动员管理火车谁该进站

FIFO调度器（先进先出）

 容量调度器

公平调度器 

 

远方时光
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
YARN工作机制
ziania_cumt的博客
04-16 386
YARN工作机制
YARN的工作机制.doc
10-26
YARN的工作机制.doc
YARN框架原理及运行机制
01-27
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，AM负责单个应用程序的管理。YARN总体上仍然是Master/Slaver结构，在整个资源管理框架中，RM为Master，NM为Slaver，RM负责对各个NM上的资源进行统一管理和调度。当提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的AM，它负责向RM申请资源，并要求NM启动占用一定资源的任务，不同的AM被分布在不同的节点上。
【Yarn篇01】Yarn工作机制和作业提交流程1
08-04
（1）MR程序提交到客户端所在的节点 （2）YarnRunner向ResourceManager申请一个Application （3）RM将该应用程序的资源路径
Hadoop技术YARN工作机制共4页.pdf.zip
11-21
Hadoop技术YARN工作机制共4页.pdf.zip
YARN 工作机制
hmyqwe的博客
09-01 173
YARN 工作机制 （1）MR 程序提交到客户端所在的节点； （2）YarnRunner 向 ResourceManager 申请一个 Application； （3）ResourceManager 将该应用程序的资源路径返回给 YarnRunner； （4）该程序将运行所需资源提交到 HDFS 上； （5）程序资源提交完毕后，申请运行 MRAppMaster； （6）ResourceManager 将用户的请求初始化成一个 Task； （7）其中一个 NodeManager 领取到 Task 任务； （.
Yarn工作机制
StephenYou的自习室
08-27 2057
目录 Yarn概述 Yarn工作机制 名词解释 Yarn工作机制简述 Yarn工作机制详述 作业提交过程 资源调度器 先进先出调度器（FIFO） 容量调度器（Capacity Scheduler）===>Yahoo开发 公平调度器（Fair Scheduler）===>Facebook开发 任务的推测执行 Yarn概述 Yarn是一个资源调度平台，负责为运算程...
YARN【工作机制】
m0_64261982的博客
06-03 563
Yarn工作机制
Hadoop Yarn 工作机制
weixin_46376562的博客
07-18 354
yarn 工作机制
yarn工作机制及其他知识点整理
qq_40348184的博客
03-20 4772
yarn的工作机制总结
大数据06-MapTask、Shuffle、ReduceTask，yarn工作机制
zhang__rong的博客
01-03 286
一、MapReduce整个工作流程：   二、 yarn基本架构和工作机制 一、yarn基本架构   （0）Mr 程序提交到客户端所在的节点。 （1）Yarnrunner 向 Resourcemanager 申请一个 Application。 （2）rm 将该应用程序的资源路径返回给 yarnrunner。 （3）该程序将运行所需资源提交到 HDFS 上。 （4）程序资源...
TypeScript 类型系统深度解析：类型全览
逐星的博客
05-09 1140
TypeScript 提供了丰富的类型系统，允许开发者以静态方式定义和使用数据类型。这不仅提升了代码的安全性，还增强了代码的可读性和可维护性。
可视化大屏比例
梦寻汝的博客
05-08 190
【代码】可视化大屏比例。
picoCTF-Web Exploitation-Web Gauntlet
huckers的博客
05-12 433
按照提示，需要用admin登录，查看filter.php，这应该是一个SQL注入题，提示我们可以使用无痕浏览器来以便cookie可以不用每次清除。中展示了sql过滤逻辑，可以回味一下，尝试用不同的关键字来注入。提示sql过滤or，我们使用。
前端面试题日常练-day05 【面试题】
qq_44640575的博客
05-11 324
解释：在CSS中，使用`.`作为类选择器，可以选择所有具有指定class名称的元素。例如，如果想选择所有class为"my-class"的元素，可以使用`.my-class`选择器来实现。这样的选择器可以为元素添加特定的样式或者在JavaScript中进行处理。
rbac权限和多级请假设计的流程演示和前端页面实现
m0_54597180的博客
05-09 319
多级请假：7级及以下申请请假需要部门经理审核，若是请假时长超过72小时，则需要总经理审核，7级申请请将需要总经理审核，总经理请假自动审核通过。业务流程测试：王美美[高级研发工程师]（7级以下用户）登录并申请请假（超过了72小时需要部门经理和总经理申请）部门经理审核通过，需要总经理审核（8级）登录，首页消息通知审核通过。如果部门经理审核不通过，则总经理不需要处理也没有系统通知。王美美请假（查过72小时）,需要部门经理和总经理审核。部门经理（7级）登录消息通知审核消息并处理审核。王美美查看部门经理审核结果。
根据地址栏url上key获取值
wwf1225的博客
05-10 214
/ 根据url上key获取值，key为参数名字，例如token。
Unable to start ServletWebServerApplicationContext due to missing ServletWeb
最新发布
s_sos0的博客
05-14 183
Unable to start ServletWebServerApplicationContext due to missing ServletWeb
【UniApp踩坑记录】在subNvue页面中使用Map，添加marker后不显示
Alan_Walker688的博客
05-11 1073
uniapp subNvue页面中使用 map 后发现 marker 不显示的问题及解决
linux Yarn
09-13
1. 快速和可靠：Yarn 使用并行安装和缓存机制，提供了更快速和可靠的安装过程。 2. 离线模式：Yarn 可以在没有网络连接的情况下运行，使用本地缓存来安装依赖项。 3. 版本锁定：Yarn 使用一个锁定文件 (yarn.lock) ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值