YARN的工作机制

最新推荐文章于 2024-05-16 10:19:13 发布
最新推荐文章于 2024-05-16 10:19:13 发布
阅读量194 收藏
点赞数
分类专栏： 大数据作业 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62877283/article/details/120978575
版权

YARN的工作机制

1、申请一个Application
2、Application 资源提交路径hdfs// /staging以及application_id
3、提交job运行所需资源
4、资源提交完毕，申请运行mrAppMaster
5、将用户的请求初始化成一个Task
6、领取到task任务
7、创建容器Container
8、下载job资源到本地
9、申请运行Map Task容器
10、领取到任务，创建容器
11、发送程序启动脚本
12、向RM申请2个容器，运行Reduce Task程序
13、Reduce向Map获得相应分区的数据
14、程序运行完后，MR会向RM注销自己
请添加图片描述

^极致温柔#
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop技术YARN工作机制共4页.pdf.zip
11-21
Hadoop技术YARN工作机制共4页.pdf.zip
Yarn的工作机制
不言尘世
12-12 219
先来张图： 工作机制详解： 1 MR 程序提交到客户端所在的节点。 2 YarnRunner向RM申请一个Application 3 RM将该应用程序的资源路径返回给YarnRunner 4 该程序将运行所需要资源提交到HDFS上。 5 程序资源提交完毕后，申请运行mrAppMaster 6 RM 将用户的请求初始化一个Task 7 其中一个NodeManager领取到Task任务 8 该NM ...
Yarn 工作机制
hyunbar的博客
10-28 457
　　1、工作机制详述　 　　（1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrA...
YARN工作机制详解
玩转大数据
05-08 410
YARN工作机制图如下 （0）Mr程序提交到客户端所在的节点 （1）yarnrunner向Resourcemanager申请一个application。 （2）rm将该应用程序的资源路径返回给yarnrunner （3）该程序将运行所需资源提交到HDFS上 （4）程序资源提交完毕后，申请运行mrAppMaster （5）RM将用户的请求初始化成一个task （6）其中一个NodeManager领...
YARN的工作机制.doc
10-26
YARN的工作机制.doc
【Yarn篇01】Yarn工作机制和作业提交流程1
08-04
（1）MR程序提交到客户端所在的节点 （2）YarnRunner向ResourceManager申请一个Application （3）RM将该应用程序的资源路径
YARN框架原理及运行机制
01-27
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，...
【Redis7】10大数据类型之HyperLogLog类型
云泽野の编程日记
05-10 220
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
《大数据分析-数据仓库项目实战》学习笔记
LANXIAMAO的博客
05-09 903
文章部分内容参考《大数据分析-数据仓库项目实战》一书，仅供学习，喜欢可购买正版书籍，如有不妥请联系删除。
kde巡检文档
王羲之的之的博客
05-13 35
此脚本采用python2.7。
要对数据源和同步后的数据进行数据量的对比
最新发布
smile6868的博客
05-16 261
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
易图讯科技三维电子沙盘系统
QQ_2801061513的博客
05-12 198
深圳易图讯科技有限公司（www.3dgis.top）创立于2013年，专注二三维地理信息、三维电子沙盘、电子地图、虚拟现实、大数据、物联网和人工智能技术研发，获得20多项软件著作权和软件检测报告，成功交付并实施了1000多个项目，广泛应用于部队、武警、武装部、公安、应急、消防、安全生产、森林防火、石油石化、科研教育、国防动员、人民防空等行业。三维地理信息电子沙盘集多项先进技术于一体，为军事、公安、应急、消防、森林防火、人民武装、国防动员、人民防空等领域提供强大决策支持和指挥调度能力。
测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）
weixin_43446246的博客
05-10 367
日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
第十四章大数据与数据科学练习
weixin_48277834的博客
05-12 971
A：预测性分析和规范性分析B：描述性分析和预测性分析C：描述性分析和规范性分析D：预见性分析和规范性分析正确答案：A 你的答案：A解析：389页第四点及下方图表，数据科学的两种分析模式分别是预测性分析和规范性分析。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1094
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
【Redis7】10大数据类型之GEO类型
云泽野の编程日记
05-11 469
GEO数据类型非常适合需要处理地图、定位服务或者任何与地理位置相关的应用程序，比如餐饮外卖服务的门店定位、出行应用中的路线规划等场景。Redis的GEO(地理空间)数据类型是一种特殊的数据结构，用于存储地理位置信息并执行地理位置相关的操作。由于这里的数据比很少,示例效果不太好.大家明白熟悉命令就行.感兴趣的话,可以自己去添加一些数据.:将地理位置的坐标转化为一个唯一的字符串编码（GeoHash），这有助于快速索引和查询。:查询指定位置周围的地点，基于给定的最大距离（半径）。
rocketmq的顺序消息开发注意事项
silver9886的专栏
05-14 185
rokcetmq和kafka一样，当顺序消息写入的多个队列中后，如果是顺序消息，当前的队列的队头一直消费失败的时候，是会阻塞当前队列的全部的后续消息的。MaxReconsumeTimes进行设置。之前就是因为没有进行设置，导致了队头阻塞问题。
linux Yarn
09-13
Yarn 是一个用于＊＊＊ 开发的，旨在提供更快速、更可靠的包管理和构建流程。Yarn 提供了更好的性能、缓存管理、并行安装等功能，可以帮助开发人员更高效地构建和管理项目。 Yarn 主要特点包括： 1. 快速和可靠：Yarn 使用并行安装和缓存机制，提供了更快速和可靠的安装过程。 2. 离线模式：Yarn 可以在没有网络连接的情况下运行，使用本地缓存来安装依赖项。 3. 版本锁定：Yarn 使用一个锁定文件 (yarn.lock) 来确保每次安装相同的依赖版本，以保证项目的稳定性。 4. 多注册表支持：Yarn 支持同时使用多个包注册表，可以从不同的源安装依赖项。 在 Linux 中，你可以通过以下步骤安装 Yarn： 1. 首先，确保系统已经安装了 Node.js 和 npm。 2. 打开终端，并执行以下命令安装 Yarn： ``` curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | sudo apt-key add - echo "deb https://dl.yarnpkg.com/debian/ stable main" | sudo tee /etc/apt/sources.list.d/yarn.list sudo apt-get update && sudo apt-get install yarn ``` 这样就可以在 Linux 系统上成功安装 Yarn。之后，你可以在项目目录中使用 `yarn` 命令来管理依赖项。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值