YARN distributedShell 客户端 源码流程查看

最新推荐文章于 2022-06-02 07:08:02 发布
最新推荐文章于 2022-06-02 07:08:02 发布
阅读量309 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ly72605/article/details/107978377
版权

前提

  1. hadoop版本是3.1.1
  2. 在源码添加打印日志 方便学习

 在RetryInvocationHandler添加打印，这样每次RPC调用我们都能看到相关日志，方便定位流程

添加打印日志

开始正题：

执行SQL:很简单打印当前目录

hadoop jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.1.1.3.0.1.0-187.jar org.apache.hadoop.yarn.applications.distributedshell.Client -jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.1.1.3.0.1.0-187.jar -shell_command  'echo ---- %cd%' -num_containers 2 -container_memory 300 -master_memory 400

打印日志

08/13 14:22:37 [main] Client(254):Initializing Client
08/13 14:22:37 [main] Client(632):Running Client
08/13 14:22:37 [main] RMProxy(133):Connecting to ResourceManager at /0.0.0.0:8032
08/13 14:31:55 [main] RetryInvocationHandler(355):==>hander 被执行method:getResourceTypeInfo
08/13 14:31:55 [main] RetryInvocationHandler(355):==>hander 被执行method:getClusterMetrics,{}
08/13 14:31:55 [main] Client(636):Got Cluster metric info from ASM, numNodeManagers=1
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getClusterNodes,{nodeStates: NS_RUNNING}
08/13 14:31:56 [main] Client(641):Got Cluster node info from ASM
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getQueueInfo,{queueName: "default" includeApplications: true includeChildQueues: false recursive: false}
08/13 14:31:56 [main] Client(651):Queue info, queueName=default, queueCurrentCapacity=0.0, queueMaxCapacity=1.0, queueApplicationCount=0, queueChildQueueCount=0
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getQueueUserAcls,{}
08/13 14:31:56 [main] Client(661):User ACL Info for Queue, queueName=root, userAcl=SUBMIT_APPLICATIONS
08/13 14:31:56 [main] Client(661):User ACL Info for Queue, queueName=root, userAcl=ADMINISTER_QUEUE
08/13 14:31:56 [main] Client(661):User ACL Info for Queue, queueName=default, userAcl=SUBMIT_APPLICATIONS
08/13 14:31:56 [main] Client(661):User ACL Info for Queue, queueName=default, userAcl=ADMINISTER_QUEUE
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getResourceProfiles,{org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetAllResourceProfilesRequestPBImpl@5c86a017}
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getNewApplication,{}
08/13 14:31:56 [main] Client(706):Max mem capability of resources in this cluster 8192
08/13 14:31:56 [main] Client(717):Max virtual cores capability of resources in this cluster 4
08/13 14:31:56 [main] RetryInvocationHandler(355):==>hander 被执行method:getResourceTypeInfo,{org.apache.hadoop.yarn.api.protocolrecords.impl.pb.GetAllResourceTypeInfoRequestPBImpl@da6efc73}
08/13 14:31:56 [main] Client(1184):AM vcore not specified, use 1 mb as AM vcores
08/13 14:31:56 [main] Client(1191):AM Resource capability=<memory:400, vCores:1>
08/13 14:31:56 [main] Client(765):Copy App Master jar from local filesystem and add to local environment
08/13 14:31:56 [main] FileSystem(3296):Loading filesystems[viewfs=class org.apache.hadoop.fs.viewfs.ViewFileSystem, swebhdfs=class org.apache.hadoop.hdfs.web.SWebHdfsFileSystem, file=class org.apache.hadoop.fs.LocalFileSystem, har=class org.apache.hadoop.fs.HarFileSystem, http=class org.apache.hadoop.fs.http.HttpFieSystem, hdfs=class org.apache.hadoop.hdfs.DistributedFileSystem, webhdfs=class org.apache.hadoop.hdfs.web.WebHdfsFileSystem, https=class org.apache.hadoop.fs.http.HttpsFileSystem],8
08/13 14:31:57 [main] RetryInvocationHandler(355):==>hander 被执行method:toString,{}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:getFileInfo,{/user/***/DistributedShell/application_1597216395121_0007/AppMaster.jar}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:toString,{}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:create,{/user/***/DistributedShell/application_1597216395121_0007/AppMaster.jar,{ masked: rw-r--r--, unmasked: rw-rw-rw- },DFSClient_NONMAPREDUCE_1707719962_1,[CREATE, OVERWRITE],true,1,134217728,{CryptoProtocolVersion{description='Encry
08/13 14:31:58 [Thread-6] RetryInvocationHandler(355):==>hander 被执行method:addBlock,{/user/***/DistributedShell/application_1597216395121_0007/AppMaster.jar,DFSClient_NONMAPREDUCE_1707719962_1,<null>,<null>,17203,<null>,[]}
08/13 14:31:58 [Thread-6] RetryInvocationHandler(355):==>hander 被执行method:getServerDefaults,{}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:complete,{/user/***/DistributedShell/application_1597216395121_0007/AppMaster.jar,DFSClient_NONMAPREDUCE_1707719962_1,BP-1150083184-10.180.201.39-1587535791595:blk_1073742314_1492,17203}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:getFileInfo,{/user/***/DistributedShell/application_1597216395121_0007/AppMaster.jar}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:toString,{}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:create,{/user/***/DistributedShell/application_1597216395121_0007/shellCommands,{ masked: rw-r--r--, unmasked: rw-rw-rw- },DFSClient_NONMAPREDUCE_1707719962_1,[CREATE, OVERWRITE],true,1,134217728,{CryptoProtocolVersion{description='Encry
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:setPermission,{/user/***/DistributedShell/application_1597216395121_0007/shellCommands,rwx--x---}
08/13 14:31:58 [Thread-9] RetryInvocationHandler(355):==>hander 被执行method:addBlock,{/user/***/DistributedShell/application_1597216395121_0007/shellCommands,DFSClient_NONMAPREDUCE_1707719962_1,<null>,<null>,17204,<null>,[]}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:complete,{/user/***/DistributedShell/application_1597216395121_0007/shellCommands,DFSClient_NONMAPREDUCE_1707719962_1,BP-1150083184-10.180.201.39-1587535791595:blk_1073742315_1493,17204}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:getFileInfo,{/user/***/DistributedShell/application_1597216395121_0007/shellCommands}
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:toString,{}
08/13 14:31:58 [main] Client(814):Set the environment for the application master
08/13 14:31:58 [main] Client(856):Setting up app master command
08/13 14:31:58 [main] Client(918):Completed setting up app master command {{JAVA_HOME}}/bin/java -Xmx400m org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --container_type GUARANTEED --container_memory 300 --container_vcores 1 --num_containers 2 --priority 0 1><LOG_DIR>/AppMaster.stdout 2><LOG
08/13 14:31:58 [main] Client(985):Submitting application to ASM
08/13 14:31:58 [main] RetryInvocationHandler(355):==>hander 被执行method:submitApplication,
08/13 14:31:59 [main] YarnClientImpl(306):Submitted application application_1597216395121_0007
08/13 14:32:00 [main] RetryInvocationHandler(355):==>hander 被执行method:getApplicationReport,{application_id { id: 7 cluster_timestamp: 1597216395121 }}
08/13 14:32:00 [main] Client(1021):Got application report from ASM for, appId=7, clientToAMToken=null, appDiagnostics=AM container is launched, waiting for AM container to Register with RM, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1597300318994, yarnAppState=ACCEPTED, distributedFinalSate=UNDEFINED, appTrackingUrl=http://***.home.langchao.com:8088/proxy/application_1597216395121_0007/, appUser=***
08/13 14:32:01 [main] RetryInvocationHandler(355):==>hander 被执行method:getApplicationReport,{application_id { id: 7 cluster_timestamp: 1597216395121 }}
08/13 14:32:01 [main] Client(1021):Got application report from ASM for, appId=7, clientToAMToken=null, appDiagnostics=AM container is launched, waiting for AM container to Register with RM, appMasterHost=N/A, appQueue=default, appMasterRpcPort=-1, appStartTime=1597300318994, yarnAppState=ACCEPTED, distributedFinalSate=UNDEFINED, appTrackingUrl=http://***.home.langchao.com:8088/proxy/application_1597216395121_0007/, appUser=***
08/13 14:32:28 [main] RetryInvocationHandler(355):==>hander 被执行method:getApplicationReport,{application_id { id: 7 cluster_timestamp: 1597216395121 }}
08/13 14:32:28 [main] Client(1021):Got application report from ASM for, appId=7, clientToAMToken=null, appDiagnostics=, appMasterHost=***/10.180.201.39, appQueue=default, appMasterRpcPort=-1, appStartTime=1597300318994, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://***home.langchao.com:8088/proxy/application_1597216395121_0007/, appUser=***
08/13 14:32:29 [main] RetryInvocationHandler(355):==>hander 被执行method:getApplicationReport,{application_id { id: 7 cluster_timestamp: 1597216395121 }}

08/13 14:32:37 [main] Client(1021):Got application report from ASM for, appId=7, clientToAMToken=null, appDiagnostics=, appMasterHost=***/10.180.201.39, appQueue=default, appMasterRpcPort=-1, appStartTime=1597300318994, yarnAppState=RUNNING, distributedFinalState=UNDEFINED, appTrackingUrl=http://***home.langchao.com:8088/proxy/application_1597216395121_0007/, appUser=***
08/13 14:32:37 [main] Client(1057):Reached client specified timeout for application. Killing application
08/13 14:32:37 [main] RetryInvocationHandler(355):==>hander 被执行method:forceKillApplication,{application_id { id: 7 cluster_timestamp: 1597216395121 }}
08/13 14:32:37 [main] RetryInvocationHandler(355):==>hander 被执行method:forceKillApplication,{application_id { id: 7 cluster_timestamp: 1597216395121 }}
08/13 14:32:37 [main] YarnClientImpl(474):Killed application application_1597216395121_0007
08/13 14:32:37 [main] Client(274):Application failed to complete successfully

从日志可以看出大概逻辑分为如下几步

  • 1.获取 Cluster metric 信息
  • 2.获取 Cluster node info from ASM
  • 3.获取Queue info
  • 4. 获取User ACL Info for Queue
  • 5.Get the resource profiles available in the RM
  • 7.Get available resource types supported by RM
  • 8.整理文件
  • 9.提交任务
  • 10.循环获取报告源码

源码

 1.开始main

public static void main(String[] args) {
    boolean result = false;
    try {
      Client client = new Client();
      LOG.info("Initializing Client");
      try {
       //init处理命令行参数 
        boolean doRun = client.init(args);
        if (!doRun) {
          System.exit(0);
        }
      } catch (IllegalArgumentException e) {
        System.err.println(e.getLocalizedMessage());
        client.printUsage();
        System.exit(-1);
      }
      //
      result = client.run();
    } catch (Throwable t) {
      LOG.error("Error running Client", t);
      System.exit(1);
    }
    if (result) {
      LOG.info("Application completed successfully");
      System.exit(0);			
    } 
    LOG.error("Application failed to complete successfully");
    System.exit(2);
  }

2.进入业务代码

 代码太长进行用"...." 进行忽略

 public boolean run() throws IOException, YarnException {

    LOG.info("Running Client");
    yarnClient.start();
    1.获取 Cluster metric 信息
    YarnClusterMetrics clusterMetrics = yarnClient.getYarnClusterMetrics();
    ....
    2.获取 Cluster node info from ASM
    List<NodeReport> clusterNodeReports = yarnClient.getNodeReports(
        NodeState.RUNNING);
    LOG.info("Got Cluster node info from ASM");
    
    ....
    3.获取Queue info
    QueueInfo queueInfo = yarnClient.getQueueInfo(this.amQueue);
    ....
    4. 获取User ACL Info for Queue
    List<QueueUserACLInfo> listAclInfo = yarnClient.getQueueAclsInfo();
    .....
    5.5.Get the resource profiles available in the RM
    Map<String, Resource> profiles;
    try {
      profiles = yarnClient.getResourceProfiles();
    } catch (YARNFeatureNotEnabledException re) {
      profiles = null;
    }

    List<String> appProfiles = new ArrayList<>(2);
    appProfiles.add(amResourceProfile);
    appProfiles.add(containerResourceProfile);

    ....
    6.Get a new application id
    YarnClientApplication app = yarnClient.createApplication();
    GetNewApplicationResponse appResponse = app.getNewApplicationResponse();
    
    .....

    ApplicationSubmissionContext appContext = app.getApplicationSubmissionContext();
    ApplicationId appId = appContext.getApplicationId();

    // Set up resource type requirements
    // For now, both memory and vcores are supported, so we set memory and
    // vcores requirements

    7.Get available resource types supported by RM

    List<ResourceTypeInfo> resourceTypes = yarnClient.getResourceTypeInfo();
    ....
    8.整理参数文件  
       包含三部分 resource,commands,env
       还包含处理 token
    ....    

    9.提交任务
    yarnClient.submitApplication(appContext);

    10.循环获取报告    

    return monitorApplication(appId);

  }

 

daodao072
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn调度流程.docx
08-11
YARN 调度流程详解 YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的资源管理层，负责管理和调度集群中的资源。YARN 调度流程是大数据处理中的一個关键步骤，下面我们将详细介绍 YARN 调度流程的...
yarn基本运作流程
08-16
### YARN基本运作流程 #### 一、概述 Apache Hadoop YARN（Yet Another Resource Negotiator）是一个通用的资源管理和调度框架，它为Hadoop带来了更强大的可扩展性和灵活性。YARN不仅支持MapReduce，还能运行其他...
YARN distributedshell AM 源码流程查看1
ly72605的博客
08-15 344
前言 1. distributedshell AM 流程有点复杂，我只是简单把流程描述，排版有点low，现实样式我会慢慢改进 2 .能力有限，如有错误请在评论处指出 源码 1.入口main 逐层调用 ApplicationMaster.main ApplicationMaster.run amRMClient.registerApplicationMaster amRMClient.addContainerRequest(containerAsk...
YARN编程实例—distributedshell源码分析
caodaoxi的专栏
10-23 251
1. 概述 本文介绍YARN自带的一个非常简单的应用程序编程实例—distributedshell，他可以看做YARN编程中的“hello world”，它的主要功能是并行执行用户提供的shell命令或者shell脚本。本文主要介绍distributedshell 的实现方法。 Distributedshell的源代码在文件夹 src\hadoop-yarn-project\hadoop-y...
关于Yarn源码的那些事（一）
夜阑听风
05-08 1610
作为新一代的资源调度统一框架，Yarn（Yet Another Resource Negotiator），在不断的完善过程中，其用途已经绝不限于Hadoop的生态圈内，业界中，流式计算如Storm，Spark均可以在一定的封装之后，运行于Yarn上，但是，就目前的发展进度来说，Yarn的基本框架，还是没有彻底的变化。就Yarn的整体架构来说，ResourceManager作为资源调度框架的老大，集...
YARN distributedshell AM 源码流程查看2
ly72605的博客
08-16 165
前言 1.此博客是对YARN distributedshell AM 源码流程查看1一步优化，上一篇过多的是源码，此篇是时序图，看起来流程更直观，推荐先看一下第一篇 2.hadoop版本：3.1.1 3.我文字表达能力不强，所以才画图的。画图不易请多多支持 正文 1.从main函数开始 下图中第7步为向ack 添加请求，ack 数据类型是Set distributedshell AM流程序列图1 2.第二张序列图-处理ack 承接第一张序列图第7步，He...
A demo for parallel computation based on yuan api technology log
wei的专栏
04-25 665
1. install hadoop-yarn 2.2.0 2. run yarn application command is : yarn jar
ruby-yarn:Ruby Yarn REST API客户端
05-09
require 'ruby-yarn' 资源管理器API rm = RubyYarn :: Cluster . new ( 'http://resource-manager-host.example.com:8088/ws/v1' ) # nodes nodes = rm . nodes # nodes is an array of [Mashe
dshell:基于原生的yarn-distributedshell上的二次开发
05-03
dshell基于原生的yarn-distributedshell上的二次开发将普通的java程序提交到yarn上执行，通过yarn进行统一的资源管理调度。增加了参数-container_files 和 -container_archives 用来向每一个container中传输java执行...
hadoop-yarn-api-python-client:Hadoop:registered:YARN API的Python客户端
05-08
安装从PyPI pip install yarn-api-client从水蟒（conda forge） conda install -c conda-forge yarn-api-client从源代码pip install git+https://github.com/CODAIT/hadoop-yarn-api-python-client.git启
写个yarn的监控
大数据星球-浪尖
10-25 5682
在星球里和微信群里很多朋友都有疑惑，如何监控 yarn 上 spark 或者 mr 应用的存活状态，浪尖今天在这里分享一下实现方法，实际上只需要简单的几行代码即可。首先是...
Java Yarn 获取集群队列负载
banana1006034246的博客
06-14 2659
背景：Docker on yarn 任务调度平台，在实际的开发中，有时候需要检测集群上某个队列的资源使用情况，当资源很紧张的时候，禁止任务提交。基于 springboot 1.在某个类中声明一个创建YarnClient的实体函数，@bean 功能等同于新建一个实体类 @Bean public YarnClient createYarnClient() { YarnClient yar...
Apache Hadoop YARN：Client客户端与ResourceManager源码DEBUG
越是学习的人，越能清醒地认识自身的局限，不断拓宽自己的路
06-16 1040
本文将通过DEBUG的方式进行源码跟踪， 探查YARN客户端与ResourceManager之间简单的交互过程， 以yarnClient.getAllQueues()获取YARN集群所有队列信息为例进行演示。 Hadoop版本3.2.1 DEBUG环境：IntelliJ IDEA 一、 测试用例 这里直接调用YarnClient的静态方法createYarnClient() 创建一个YarnClient实例new YarnClientImpl();。 yarnClient.init(c.
yarn任务信息的几种获取方式
hncscwc的博客
06-02 6893
在问题定位、日常巡检、特定开发任务中，都会涉及查看yarn任务的相关信息，包括applicaiton的ID、类型、名称、起始时间、app所包含的container、以及每个container的日志文件内容等信息。本文就来聊聊查询查看这些信息的几种方式。【通过RM的WEB查看】这个是最简单的方式，直接在浏览器中打开RM的web网页就可以查看所有的App信息以及对应的日志了。...
yarn实现
wqy1200的专栏
06-09 507
YARN基础库 YARN的基础库主要有以下几个。 ❑Protocol Buffers：Protocol Buffers是Google开源的序列化库，具有平台无关、高性能、兼容性好等优点。 ❑Apache Avro：Avro是Hadoop生态系统中的RPC框架，具有平台无关、支持动态模式（无需编译）等优点。 ❑RPC库：YARN仍采用了MRv1中的RPC库，但其中采用的默认序列化方法被替换成了Protocol Buffers。 ❑服务库和事件库：YARN将所有的对象服务化，以便统一管理（比创建、销毁等），而服
YarnConfiguration 源码
03-25 1869
YarnConfiguration的源码，包含了各种Yarn下 application的配置 package org.apache.hadoop.yarn.conf; import java.net.InetAddress; import java.net.InetSocketAddress; import java.net.UnknownHostException;
Hadoop源码解析之YARN客户端作业提交流程
liushahe2012的博客
01-22 2029
主要的流程集中在JobSubmitter.submitJobInternal中，包括检测输出目录合法性，设置作业提交信息（主机和用户），获得JobID，向HDFS中拷贝作业所需文件（Job.jar Job.xml split文件等），最后执行作业提交。
YARN DistributedShell源码分析与修改
zdy0_2004的专栏
01-11 910
http://www.cnblogs.com/BYRans/p/5118891.html YARN版本：2.6.0 转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述2 YARN DistributedShell不能满足当前需求 2.1 功能需求2.2 YARN DistributedShell对需求的支持情况
"深入理解Spark on Yarn的启动流程与源码编译
Spark的初始化源码阅读主要涉及到SparkOnYARN中的client和cluster区别以及编译源码包和启动流程。首先，要进行Spark初始化源码阅读，需要下载Spark源码并在Linux系统上进行编译。在编译之前，需要安装JDK(1.8)和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值