Yarn工作原理自我总结

最新推荐文章于 2021-02-20 12:40:29 发布
最新推荐文章于 2021-02-20 12:40:29 发布
阅读量156 收藏
点赞数
文章标签： Apache Hadoop YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tmh1995/article/details/107070332
版权

在这里插入图片描述
如图所示
1.由Client(客户端)提交一个作业请求给ResourceManager(资源管理器)

2.ResourceManager生成一个ApplicationMaster(程序管理员)，并根据Node Status(状态)在空闲的NodeManager节点上运行ApplicationMaster

3.ApplicationMaster向ResourceManager注册其信息，并发送资源申请报告，然后ResourceManager会为各个作业申请Container(容器)，每个Container被分配后，由每个机器上的NameNode来启动该Container

4.ApplicationMaster会运行和管理Container里面的任务，Container会通过心跳机制来向ApplicationMaster发送状态信息

5.任务完成后，ApplicationMaster向ResourceManager报告，Container进行资源释放

如梦山河的故人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YARN框架原理及运行机制
02-24
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，...
Hadoop技术YARN工作机制共4页.pdf.zip
11-21
总结来说，Hadoop的YARN工作机制是一个复杂而高效的资源管理系统，它通过分离资源调度和任务执行，提高了Hadoop集群的灵活性和性能。了解并掌握YARN的工作原理，对于优化大数据应用和管理大规模分布式系统至关重要。
主流包管理工具npm、yarn、cnpm、pnpm之间的区别与联系——原理篇
热门推荐
qq_32614411的博客
07-03 1万+
接触 node 之后，一直使用npm包管理工具， cnpm 一开始会用一些，但是并没有觉得比 npm 快得多，使用 cnpm 的时候还经常安装不成功，只能再用 npm 安装一遍，渐渐的就弃用了 cnpm 。 最近在看《MongoDB高级技术栈全覆盖前端 Vue+Node+MongoDB高级全栈开发》课程，才知道还有其他包管理工具，借此机会，好好的整理一下各个包管理工具之间的区别和联系。 NPM...
yarn workspace的原理剖析以及简单使用
胡聊前端的博客
02-20 2827
随着项目的不断增大，子项目拆分的越来越多，开发过程可能会遇到如下的两个问题： 多个项目具有相同的外部依赖，导致重复安装，占用磁盘空间 多个项目之间相互依赖，依赖之间的更新流程繁琐（需要发布到npm，或者使用npm link） 开源社区中有lerna这样的优秀的monorepo管理工具来解决这两个问题。但其实，这应该属于npm包管理工具自身的问题范围。所以作为后起之秀的yarn，就希望能够通过其原生的workspace去解决这些问题： 下面是一个基于yarn workspace测试项目的目录结构，可以看出
YARN的工作原理
06-09 4853
一、YARN的组成 由ResourceManager、NodeManager、JobHistoryServer、Containers、Application Master、job、Task、Client组成。 ResourceManager：一个Cluster只有一个，负责资源调度、资源分配等工作。 NodeManager：运行在DataNode节点，负责启动Applicatio
Hadoop on Yarn 各组件详细原理
weixin_34194702的博客
06-09 190
　　运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 　　ResourceManager提供应用程序的调度，每个应用程序由一个ApplicationMaster管理，以Container的形式请求每个任务的计算资源。Container由...
YARN的基本原理与功能组件简介
11-10 4078
YARN(Yet Another Resource Negotiator) YARN的基本思想： 将JobTracker的两个主要的功能分离成单独的组件，一个全局的ResourceManager和每个应用对应的ApplicationMaster。 YARN的控制组件和架构 ResourceManager -一个纯粹的调度器 ApplicationMast
hadoop学习总结包含mr、yarn、hdfs
04-18
hadoop学习总结包含mr、yarn、hdfs
yarn 前端打包工具指定配置文件
08-10
首先，了解 `Yarn` 的工作原理。`Yarn` 遵循 `npm` 的包管理和工作流程，但它的优势在于缓存策略和锁定文件（`yarn.lock`），确保在不同环境下有相同版本的依赖。默认情况下，`Yarn` 使用 `package.json` 文件中的 `...
OGSM绩效管理培训材料双份资料.pptx
07-12
OGSM绩效管理培训材料双份资料.pptx
CAD机械设计赛项单选题样题.docx
07-12
CAD机械设计赛项单选题样题
100款古风PPT (79).pptx
最新发布
07-12
【ppt素材】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
搭建zookeeper
07-12
搭建zookeeper
2024年欧洲快速断开配件市场主要企业市场占有率及排名.docx
07-12
2024年欧洲快速断开配件市场主要企业市场占有率及排名.docx
springcloud-基于Spring Boot的微服务开发框架
07-12
Spring Cloud是一套基于Spring Boot的微服务开发框架，它提供了一种构建分布式系统和服务网格的完整解决方案。Spring Cloud的核心目标是利用Spring Boot的自动化配置特性，使开发者能够快速搭建出分布式系统中的各个组件，如服务发现、配置中心、熔断器、智能路由、消息总线、负载均衡、断路器、数据监控等。 Spring Cloud生态系统庞大且功能丰富，其中包含了多个子项目，比如Spring Cloud Netflix（Eureka、Hystrix、Ribbon、Feign等），用于服务发现、断路器、负载均衡和REST客户端；Spring Cloud Config用于集中化配置管理，确保在不同环境下的配置一致性；Spring Cloud Gateway作为API网关，负责路由、过滤和安全控制；Spring Cloud Stream用于构建消息驱动的微服务应用，支持与外部消息中间件的集成；Spring Cloud Sleuth和Zipkin则提供了分布式追踪能力，便于在复杂的服务调用链中定位问题。 Spring Cloud的强大之处在于它将复杂的分布式系统抽
Web开发领域-Node.js技术-HTTP服务器搭建与操作-实验教程及心得
07-12
内容概要： 本实验报告详细记录了一次基于Node.js的Web服务器搭建实验过程，旨在帮助学生掌握Node.js的基本操作和理解HTTP协议的工作原理。实验中，学生通过引入Node.js的内置http模块创建了一个简单的HTTP服务器，设置回调函数处理请求与响应，并学习了如何通过改变Content-Type头来影响页面渲染方式。此外，实验还涉及了如何针对不同URL路径返回特定内容，以及如何使用命令行工具启动和管理服务器。 适用人群： 本资源适合正在学习Web开发基础，特别是Node.js初学者的学生或开发者。对于希望深入了解服务器端编程、HTTP协议及响应类型的人来说尤为有用。 使用场景及目标： 教学场景：作为大学课程《Web平台B》的实验教材，帮助学生实践Node.js编程和Web服务器搭建技能。 自我学习：供个人或小组在课余时间进行自主学习，通过动手实践加深对Node.js和HTTP的理解。 项目准备：为即将开始的Web项目提供基础知识和技能储备，尤其是在使用Node.js构建后端服务时。
个人转正述职报告PPT模板
07-12
【作品名称】：个人转正述职报告PPT模板 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
IT标准项目管理流程ppt课件两份资料.pptx
07-12
IT标准项目管理流程ppt课件两份资料.pptx
商用密码应用安全性评估从业人员考核题库
07-12
商用密码应用安全性评估从业人员考核题库
mr on yarn 工作原理
04-04
它的工作原理如下： 1. 提交作业：用户通过客户端向YARN资源管理器（ResourceManager）提交MapReduce作业。作业包括MapReduce程序的代码和配置信息。 2. 资源分配：ResourceManager接收到作业后，将其分解为多个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值