Yarn问答题

最新推荐文章于 2022-12-11 07:00:00 发布
最新推荐文章于 2022-12-11 07:00:00 发布
阅读量254 收藏
点赞数
分类专栏： 学习记录 文章标签： 大数据 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TTDZS/article/details/128246500
版权
本文详细解析了MapReduce中Job的提交过程，介绍了YARN的工作机制，包括客户端提交应用程序、ResourceManager分配资源、NodeManager执行任务等步骤。同时，文章探讨了YARN的三种资源调度策略：FIFO、容量调度和公平调度，分析了它们的特点。最后，给出了配置自定义队列的具体步骤，涉及capacity-scheduler.xml配置文件的修改。
摘要由CSDN通过智能技术生成

文章目录

Yarn问答题

一、MR中的一个Job是如何提交的？

​ 提交Job：底层通过submitJobInternal ()方法完成提交

具体步骤：

  • 检测输入输出路径合法性
    • 路径非法直接抛异常
    • 路径合法开始计算文件切片信息
  • 计算文件切片信息
    • 确定最终开启的MT数量
  • 检测是否有分布式缓存文件
    • 如果有，设置到Job中
  • 将当前运行的jar包、切片信息、配置信息放入临时产生、用于保存job信息的文件夹下
  • 准备就绪，提交完成

二、描述一下YARN的工作机制。

（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MR

最低0.47元/天 解锁文章
张培根同学
关注
专栏目录
Hadoop面试题（四）——YARN
01-07
  1）加入了yarn解决了资源调度的问题。   2）加入了对zookeeper的支持实现比较可靠的高可用。 2、为什么会产生 yarn,它解决了什么问题，有什么优势？   1）Yarn最主要的功能就是解决运行的用户程序与yarn框架...
大数据面试题之YARN
最新发布
自律给我自由
06-24 604
大数据面试题之YARN
YARN故障排查
酸菜鱼的博客
06-09 1123
Hadoop学习之故障排查
【Haoop】Yarn(RM-AM-NM 三大组件的通信，任务提交搭到 Yarn 的过程，文件切片)
康师傅没有眼泪
04-11 6498
NodeManager是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。(2) AsM一般会返回一个新生成的全局ID，除此之外，传递的信息还有集群的资源状况，这样Client就可以在需要时请求资源来运行任务的第一个 container 即 AM。在上面(5)与(6)之间，AM在收到RM返回的container列表后，会与每个container所在机器的NM通信，来启动这个container，下面就说说这个过程。这个过程是AM向RM请求资源。
客户端提交MR程序job的流程
Pan_Mars的博客
03-27 1469
这里是我自己总结的简单的描述：Configuration conf = new Configuration(); // conf.set("mapreduce.framework.name", "yarn"); // conf.set("yarn.resoucemanager.hostname", "hadoop"); Job job = Job.getInstance(conf);
MR | Mapreduce Job提交过程
qq_44249833的博客
05-06 355
以本地模式的WordCount为例。 public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { args = new String[] {"d:/input/wordcount/inputword.txt", "d:/output"};...
MapReduce 计算流程和job提交流程
weixin_44824330的博客
10-09 329
一.MapReduce 计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job，Job信息会给Resourcemanger，向Resourcemanger注册信息 3 在注册通过后，Job会拷贝相关的资源信息（从HDFS中） 4 紧接着会向Resourcemanger提交完整的Job信息（包括资源信息） 5a Resourcema...
Spark的Yarn模式
01-20
Spark的Yarn模式是将Spark应用部署在Hadoop的YARN资源管理系统上的方式，这种方式无需单独搭建Spark集群，而是利用YARN的资源管理和调度能力。YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本引入的一个...
yarn安装.docx
09-24
yarn安装 Yarn 是一个流行的 JavaScript 包管理器，可以帮助开发者快速安装、管理和共享项目依赖项。下面是关于 Yarn 安装的详细知识点： Yarn 安装步骤 1. 使用 npm 安装 Yarn：`npm install –g yarn` 或 `npm ...
yarn-1.12.3
12-17
国内下载yarn安装包太慢了，需要切换到国外站才能很快下载。这里分享给大家。
Hadoop Yarn 案例 1
07-16
Yarn TopN 案例 年-月-日 某ID（如地区ID，案例中无任何作用） 温度 相同月中最热的3天 案例：https://blog.csdn.net/lian582796149/article/details/118789626
yarn简答题
依旧的博客
04-10 3887
1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点： 支持多计算框架 资源利用率高，运行成本低，数据共享。 3、Yarn的意义： 降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪费，运营成本低。 4、Yarn基本组成 ResourceManager ：一个集群资源调度的管理者 NodeM...
大数据面试之YARN常见题目
luoyepiaoxue2014的博客
12-11 793
大数据面试之YARN常见题目
yarn 命令学习：yarn application
jkdcdlly的专栏
12-05 6755
yarn application 说明：打印  application(s) 报告，或者 kill 掉 application，共7个可选项 1、-list          列出所有 application 信息     示例：yarn  application -list     打印信息： Application-Id Applicat
yarn面试题汇总大全
hongmofang10的博客
03-06 2478
yarn主要作用 资源管理，任务调度 yarn的结构 yarn总体上是master/slave结构，主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件组成。 2.1 RM RM负责处理客户端请求，对各NM上的资源进行统一管理和调度，给AplicationMaster分配空闲的Container运行并监控其运行状态，主要由调度器和应用程序管理器构成。 调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配的单位是Containe
大数据技术原理与应用（第四章YARN测试）
m0_47554321的博客
10-16 661
大数据技术原理与应用（第四章测试）
Job流程：提交MR-Job过程
weixin_30808693的博客
08-20 261
1.一个标准 MR-Job 的执行入口： //参数 true 表示检查并打印 Job 和 Task 的运行状况 System.exit(job.waitForCompletion(true) ? 0 : 1); 2.job.waitForCompletion(true)方法的内部实现： //job.waitForCompletion()方法的内部实现 public boole...
MR作业提交全过程
AHincsdn的博客
08-09 2199
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
Hadoop---MR的Job提交源码---(源码篇一)
weixin_45284133的博客
04-19 445
MR的Job提交源码 刨析一遍切片原理 以源码角度，来深刻理解MR工作原理。 MR源码分析：（wordCount案例）–入口类 问题： MR中的Job，是如何提交的 首先： DeBug流程走一波。 进入提交作业方法： 它这里做了一件事，获取了配置信息，思考题：什么配置信息？不会可以留言 通过YarnClientProtocolProvider | LocalClientProtocolPr...
Hadoop YARN集群配置详解
"YARN相关配置总结" YARN（Yet Another Resource Negotiator）是Apache Hadoop 2.x版本中的资源管理器，它负责集群资源的管理和调度，使得大数据处理任务能够高效地运行。这篇文档总结了关于YARN配置的关键点，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值