【Yarn】Yarn Service端如何处理客户端提交的任务

最新推荐文章于 2023-06-02 16:23:29 发布
最新推荐文章于 2023-06-02 16:23:29 发布
阅读量287 收藏
点赞数
分类专栏： 大数据-hadoop 文章标签： java 服务器 前端
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126045432
版权
大数据-hadoop 专栏收录该内容
128 篇文章 480 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细解析Yarn服务端如何处理客户端提交的任务，包括ClientRMService的submitApplication方法，RMAppManager的submitApplication流程，如createAndPopulateNewRMApp，以及RMAppImpl的状态机初始化和核心的安全认证及任务提交过程。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

在上一篇文章中 【Yarn】Yarn App 启动源码 ，我们从客户端开始，经过一系列操作后，我们终于从客户端提交任务到了服务器。在本章节我们将处理服务端是如何处理客户端的提交任务请求的。

2.ClientRMService

2.1 submitApplication

在服务端是ClientRMService#submitApplication来处理用户的提交请求。在这个函数中主要是获取客户端提交的参数以及做一些预处理，添加一些默认的参数等

@Override
  public SubmitApplicatio
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Hadoop之YARN客户端向ResourceManager提交作业
qq_45115959的博客
08-18 814
编写作业: 使用 MapReduce API 或其他支持的框架（如 Spark, Flink 等）编写应用程序。打包作业: 将应用程序及其依赖打包成 JAR 文件或其他格式的归档文件。配置参数: 设置作业的配置参数，例如资源需求、队列选择等。
Yarn AppMaste调试
流云
03-23 192
一般都是这种形式，YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y " 但是MRMaster不知道加在哪里，查看了封神的博客后，恍然大悟， http://fengshenwu.com/blog/tag/hadoop2yar...
Spark on Yarn提交任务过程
benjam1n77的博客
11-29 3976
这篇文章将从源码的角度向大家展示Spark是如何提交任务到Yarn上执行的，如有错误，还请各位指出。（基于Spark 3.0.0）
Spark Yarn API 在线任务提交
he329867402的专栏
11-22 3178
针对在进行spark任务在线提交过程中遇到的问题和解决方案的一点分享。
Hadoop源码解析之YARN客户端作业提交流程
liushahe2012的博客
01-22 2037
主要的流程集中在JobSubmitter.submitJobInternal中，包括检测输出目录合法性，设置作业提交信息（主机和用户），获得JobID，向HDFS中拷贝作业所需文件（Job.jar Job.xml split文件等），最后执行作业提交。
Scala语言实现读取，访问Yarn客户端
czladamling的博客
03-21 135
使用scala语言访问Yarn客户端，加载Yarn客户端需要yarn-site.xml文件。对Yarns上的程序进行操作，需要applicationId，仅封装了几个常用的方法。
YARN 客户端命令
飞朋的博客
09-07 1999
概述 纱线命令由bin/纱线脚本调用。运行不带任何参数的纱线脚本将打印所有命令的描述。 Usage: yarn [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [SUB_COMMAND] [COMMAND_OPTIONS] 纱线有一个选项解析框架，它使用解析泛型选项和运行类。 COMMAND_OPTIONS Description SHELL_OPTIONS 一组常见的shell选项。这些都记录在命令手册页上。 GENERIC_OPTIONS
Spark任务提交后的处理流程
XuXuemin的专栏
10-17 1207
Spark任务提交后的处理流程，主要是指Spark对计算任务的预处理、环境资源、分区及stage划分的处理
pyFlink提交WordCount任务到Yarn集群测试
最新发布
qq_42944683的博客
06-02 801
一系列pyflink提交任务到上yarn踩过的坑
flink yarn-perjob任务提交流程
m0_46449152的博客
02-10 2212
1、由脚本bin/flink 进入org.apache.flink.client.cli.CliFrontend CliFrontend main -> cli.parseAndRun -> run -> executeProgram -> ClientUtils.executeProgram -> program.invokeInteractiveModeForExecution() -> callMainMethod -> mainMethod.invoke
flink实战--flink on yarn
阿华田的博客
10-31 5650
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
【hadoop】java 获取 yarn app 信息 报错 ConfiguredRMFailoverProxyProvider - Failing over to rm2
九师兄
04-07 5587
java 获取 yarn app 信息 报错 这个原因是没有配置相关的 2.场景2 本次是对方kerberos认证环境出现问题，也会报错这个 改问题最终解决，参考：【hadoop】java连接hadoop Kerberos 24小时过期问题
ogon denied for user/password. Able to find the database server and database, but the login request
九师兄
02-23 4119
背景：安装好了CDH 5.15.2集群的时候，安装Hive的时候，连接出问题，总是连接不上，使用工具可以远程连接，但是CDH页面不能连接。 报错信息 2019-02-22 22:45:37,478 INFO 1942664326@scm-web-85:com.cloudera.cmf.service.ServiceHandlerRegistry: Executing host command Hi...
hadop 查看DataNode的资源使用情况信息（web接口）
九师兄
10-18 4034
文章目录1.概述2. 配置3. 实例 1.概述 2. 配置 3. 实例 自己搭建一个hadoop本地集群后，访问 http://localhost:8088/ws/v1/cluster/metrics <?xml version="1.0" encoding="utf-8"?> <clusterMetrics> <appsSubmitted>0</...
AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs
九师兄
05-15 3043
背景 做kylin 的时候，执行了 hive的命令，是hive数据的重新分布 结果在reduce的时候阻塞了。 查看原因为 AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs 这个问题出现的背景是：商品表 txt文件 5.4G 一共1亿数据 类别表 17M 100万条数据 临时解决办法是...
【hadoop】java.io.IOException: No FileSystem for scheme: hdfs
九师兄
10-22 2847
异常 java.io.IOException: No FileSystem for scheme: hdfs 我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。 hadoop解决： conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值