Hadoop源码解读(Job提交)

最新推荐文章于 2022-11-02 09:33:11 发布
最新推荐文章于 2022-11-02 09:33:11 发布
阅读量276 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： hadoop 大数据 源代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yujianxiaoyaobb/article/details/103184425
版权

Hadoop源码解读(Job提交)

  1. Job提交入口

    boolean flag = job.waitForCompletion(true);

  2. 进入waitForCompletion(true)方法

    if (state == JobState.DEFINE) {
      submit();
}

    判断当前的Job状态是否为DEFINE，如果是DEFINE状态就进入submit()方法。

    1. 进入submit()方法,这个方法比较重要，我们详细解读下：

      下面是submit()里面的具体代码：

      public void submit() 
         throws IOException, InterruptedException, ClassNotFoundException {
    ensureState(JobState.DEFINE);
    setUseNewAPI();
    connect();
    final JobSubmitter submitter = 
        getJobSubmitter(cluster.getFileSystem(), cluster.getClient());
    status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() {
      public JobStatus run() throws IOException, InterruptedException, 
      ClassNotFoundException {
        return submitter.submitJobInternal(Job.this, cluster);
      }
    });
    state = JobState.RUNNING;
    LOG.info("The url to track the job: " + getTrackingURL());
   }

      1. ensureState(JobState.DEFINE);再次确认当前的Job状态是否为DEFINE

      2. setUseNewAPI();使用新的hadoopAPI

      • if (conf.getUseNewMapper()) {
      String mode = "new map API";
      ensureNotSet("mapred.input.format.class", mode);
      ensureNotSet(oldMapperClass, mode);
      if (numReduces != 0) {
        ensureNotSet("mapred.partitioner.class", mode);
       } else {
        ensureNotSet("mapred.output.format.class", mode);
      }      
    }
      1. 进入connect()方法中，此处是重点，这个方法目的是创建Cluster对象
        private synchronized void connect()
          throws IOException, InterruptedException, ClassNotFoundException {
    if (cluster == null) {
      cluster = 
        ugi.doAs(new PrivilegedExceptionAction<Cluster>() {
                   public Cluster run()
                          throws IOException, InterruptedException, 
                                 ClassNotFoundException {
                     return new Cluster(getConfiguration());
                   }
                 });
    }
  }

      return new Cluster(getConfiguration());就是来创建Cluster对象，可以debug到这个方法里面观察它如何创建Cluster。

      1. Cluster的构造方法里面调用了初始化一些参数的方法。即initialize(jobTrackAddr, conf)

        下面是Cluster的构造方法和构造方法中初始化一些参数的方法，我主要挑几个重点的谈一下。

        1. ClientProtocolProvider provider:是客户端协议的提供者,简单来说就是你的Job运行时的环境的提供者，hadoop程序跑的时候，主要在两个环境，一个是本地环境，另一个是集群，也就是yarn环境。而这个ClientProtocolProvider就可以提供现在你跑的环境。

        2. ClientProtocol clientProtocol就是真正的你hadoop跑的环境，是本地还是yarn，这个是由ClientProtocolProvider 提供的，也就是下面的clientProtocol = provider.create(conf)。下图可以看到，ClientProtocol的两种LocalJobRunner和YARNRunner分别对应本地和yarn环境。

          [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bp5EvxQx-1574323266384)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1574318978532.png)]

        public Cluster(InetSocketAddress jobTrackAddr, Configuration conf) 
      throws IOException {
    this.conf = conf;
    this.ugi = UserGroupInformation.getCurrentUser();
    initialize(jobTrackAddr, conf);
  }

private void initialize(InetSocketAddress jobTrackAddr, Configuration conf)
      throws IOException {

    synchronized (frameworkLoader) {
      for (ClientProtocolProvider provider : frameworkLoader) {
        LOG.debug("Trying ClientProtocolProvider : "
            + provider.getClass().getName());
        ClientProtocol clientProtocol = null; 
        try {
          if (jobTrackAddr == null) {
            clientProtocol = provider.create(conf);
          } else {
            clientProtocol = provider.create(jobTrackAddr, conf);
          }

          if (clientProtocol != null) {
            clientProtocolProvider = provider;
            client = clientProtocol;
            LOG.debug("Picked " + provider.getClass().getName()
                + " as the ClientProtocolProvider");
            break;
          }
          else {
            LOG.debug("Cannot pick " + provider.getClass().getName()
                + " as the ClientProtocolProvider - returned null protocol");
          }
        } 
        catch (Exception e) {
          LOG.info("Failed to use " + provider.getClass().getName()
              + " due to error: ", e);
        }
      }
    }

      2. 通过JobSumitter提交Job。将Job和集群Cluster对象传入。这个方法也是十分重要的。我们需要仔细研究。所以进入submitter.submitJobInternal(Job.this, cluster)中

    status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() {
      public JobStatus run() throws IOException, InterruptedException, 
      ClassNotFoundException {
        return submitter.submitJobInternal(Job.this, cluster);
      }
    });

    以下为return submitter.submitJobInternal(Job.this, cluster);的具体代码，我们详细解读：

    JobStatus submitJobInternal(Job job, Cluster cluster) 
  throws ClassNotFoundException, InterruptedException, IOException {

    //validate the jobs output specs 
    checkSpecs(job);

    Configuration conf = job.getConfiguration();
    addMRFrameworkToDistributedCache(conf);

    Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
    //configure the command line options correctly on the submitting dfs
    InetAddress ip = InetAddress.getLocalHost();
    if (ip != null) {
      submitHostAddress = ip.getHostAddress();
      submitHostName = ip.getHostName();
      conf.set(MRJobConfig.JOB_SUBMITHOST,submitHostName);
      conf.set(MRJobConfig.JOB_SUBMITHOSTADDR,submitHostAddress);
    }
    JobID jobId = submitClient.getNewJobID();
    job.setJobID(jobId);
    Path submitJobDir = new Path(jobStagingArea, jobId.toString());
    JobStatus status = null;
    try {
      conf.set(MRJobConfig.USER_NAME,
          UserGroupInformation.getCurrentUser().getShortUserName());
      conf.set("hadoop.http.filter.initializers", 
          "org.apache.hadoop.yarn.server.webproxy.amfilter.AmFilterInitializer");
      conf.set(MRJobConfig.MAPREDUCE_JOB_DIR, submitJobDir.toString());
      LOG.debug("Configuring job " + jobId + " with " + submitJobDir 
          + " as the submit dir");
      // get delegation token for the dir
      TokenCache.obtainTokensForNamenodes(job.getCredentials(),
          new Path[] { submitJobDir }, conf);
      
      populateTokenCache(conf, job.getCredentials());

      // generate a secret to authenticate shuffle transfers
      if (TokenCache.getShuffleSecretKey(job.getCredentials()) == null) {
        KeyGenerator keyGen;
        try {
          keyGen = KeyGenerator.getInstance(SHUFFLE_KEYGEN_ALGORITHM);
          keyGen.init(SHUFFLE_KEY_LENGTH);
        } catch (NoSuchAlgorithmException e) {
          throw new IOException("Error generating shuffle secret key", e);
        }
        SecretKey shuffleKey = keyGen.generateKey();
        TokenCache.setShuffleSecretKey(shuffleKey.getEncoded(),
            job.getCredentials());
      }
      if (CryptoUtils.isEncryptedSpillEnabled(conf)) {
        conf.setInt(MRJobConfig.MR_AM_MAX_ATTEMPTS, 1);
        LOG.warn("Max job attempts set to 1 since encrypted intermediate" +
                "data spill is enabled");
      }

      copyAndConfigureFiles(job, submitJobDir);

      Path submitJobFile = JobSubmissionFiles.getJobConfPath(submitJobDir);
      
      // Create the splits for the job
      LOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir));
      int maps = writeSplits(job, submitJobDir);
      conf.setInt(MRJobConfig.NUM_MAPS, maps);
      LOG.info("number of splits:" + maps);

      // write "queue admins of the queue to which job is being submitted"
      // to job file.
      String queue = conf.get(MRJobConfig.QUEUE_NAME,
          JobConf.DEFAULT_QUEUE_NAME);
      AccessControlList acl = submitClient.getQueueAdmins(queue);
      conf.set(toFullPropertyName(queue,
          QueueACL.ADMINISTER_JOBS.getAclName()), acl.getAclString());

      // removing jobtoken referrals before copying the jobconf to HDFS
      // as the tasks don't need this setting, actually they may break
      // because of it if present as the referral will point to a
      // different job.
      TokenCache.cleanUpTokenReferral(conf);

      if (conf.getBoolean(
          MRJobConfig.JOB_TOKEN_TRACKING_IDS_ENABLED,
          MRJobConfig.DEFAULT_JOB_TOKEN_TRACKING_IDS_ENABLED)) {
        // Add HDFS tracking ids
        ArrayList<String> trackingIds = new ArrayList<String>();
        for (Token<? extends TokenIdentifier> t :
            job.getCredentials().getAllTokens()) {
          trackingIds.add(t.decodeIdentifier().getTrackingId());
        }
        conf.setStrings(MRJobConfig.JOB_TOKEN_TRACKING_IDS,
            trackingIds.toArray(new String[trackingIds.size()]));
      }

      // Set reservation info if it exists
      ReservationId reservationId = job.getReservationId();
      if (reservationId != null) {
        conf.set(MRJobConfig.RESERVATION_ID, reservationId.toString());
      }

      // Write job file to submit dir
      writeConf(conf, submitJobFile);
      
      //
      // Now, actually submit the job (using the submit name)
      //
      printTokens(jobId, job.getCredentials());
      status = submitClient.submitJob(
          jobId, submitJobDir.toString(), job.getCredentials());
      if (status != null) {
        return status;
      } else {
        throw new IOException("Could not launch job");
      }
    } finally {
      if (status == null) {
        LOG.info("Cleaning up the staging area " + submitJobDir);
        if (jtFs != null && submitJobDir != null)
          jtFs.delete(submitJobDir, true);

      }
    }
  }

    1. checkSpecs(job);这个方法主要是检查你输出路径是否设置，或者输出路径是否存在，如果有这两个问题，都会直接抛出异常

      checkSpecs(job);

      •  // Ensure that the output directory is set and not already there
    Path outDir = getOutputPath(job);
    if (outDir == null) {
      throw new InvalidJobConfException("Output directory not set.");
    }

    // get delegation token for outDir's file system
    TokenCache.obtainTokensForNamenodes(job.getCredentials(),
        new Path[] { outDir }, job.getConfiguration());

    if (outDir.getFileSystem(job.getConfiguration()).exists(outDir)) {
      throw new FileAlreadyExistsException("Output directory " + outDir + 
                                           " already exists");
    }
      1. 下面的代码生成Job工作目录，可以进到这个方法中详细看看是如何生成这个Job工作目录的
      Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);

      • 此代码为详细的实现代码

        public static Path getStagingDir(Cluster cluster, Configuration conf) 
  throws IOException,InterruptedException {
    Path stagingArea = cluster.getStagingAreaDir();
    FileSystem fs = stagingArea.getFileSystem(conf);
    String realUser;
    String currentUser;
    UserGroupInformation ugi = UserGroupInformation.getLoginUser();
    realUser = ugi.getShortUserName();
    currentUser = UserGroupInformation.getCurrentUser().getShortUserName();
    if (fs.exists(stagingArea)) {
      FileStatus fsStatus = fs.getFileStatus(stagingArea);
      String owner = fsStatus.getOwner();
      if (!(owner.equals(currentUser) || owner.equals(realUser))) {
         throw new IOException("The ownership on the staging directory " +
                      stagingArea + " is not as expected. " +
                      "It is owned by " + owner + ". The directory must " +
                      "be owned by the submitter " + currentUser + " or " +
                      "by " + realUser);
      }
      if (!fsStatus.getPermission().equals(JOB_DIR_PERMISSION)) {
        LOG.info("Permissions on staging directory " + stagingArea + " are " +
          "incorrect: " + fsStatus.getPermission() + ". Fixing permissions " +
          "to correct value " + JOB_DIR_PERMISSION);
        fs.setPermission(stagingArea, JOB_DIR_PERMISSION);
      }
    } else {
      fs.mkdirs(stagingArea, 
          new FsPermission(JOB_DIR_PERMISSION));
    }
    return stagingArea;
  }

      • Path stagingArea = cluster.getStagingAreaDir();生成Job工作目录的文件夹

      • FileSystem fs = stagingArea.getFileSystem(conf);获取到hdfs的文件系统，方便后续操作hdfs

      • 因为Job一开始并没有Job的工作目录，所以走的是else，

        即 fs.mkdirs(stagingArea, new FsPermission(JOB_DIR_PERMISSION));

        创建了Job工作目录。因为我是在本地运行的。所以在我的window中找到了Job工作目录

        [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OoLJygnS-1574323266385)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1574320773479.png)]

      1. JobID jobId = submitClient.getNewJobID();生成你当前这个Job的jobId

      2. Path submitJobDir = new Path(jobStagingArea, jobId.toString());将jobStagingArea和 jobId拼接，即将Job的工作目录和你当前这个Job的Id拼接组合，在这个文件夹里，专门存放你当前这个Job所需要的一些配置文件，切片信息，jar包等等（不过这个文件夹还未创建）

      3. copyAndConfigureFiles(job, submitJobDir);是真正将之前拼接好的当前这个Job工作的目录创建出来

      以下为创建出来的文件夹

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xboePVIY-1574323266385)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1574321415086.png)]

      1. int maps = writeSplits(job, submitJobDir);生成切片信息，返回切片的数量并且将切片的文件放入。不过这部分比较复杂，我会在后续的文章中详细解读。

      2. writeConf(conf, submitJobFile);将job执行的配置信息写入到工作目录中

      写出的结果如下图

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QgoffE7Y-1574323266386)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1574322560840.png)]

      1. status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

      真正提交Job

      1. jtFs.delete(submitJobDir, true);Job执行结束后删除当前Job的工作目录

bDir);生成切片信息，返回切片的数量并且将切片的文件放入。不过这部分比较复杂，我会在后续的文章中详细解读。

	7. writeConf(conf, submitJobFile);将job执行的配置信息写入到工作目录中

    写出的结果如下图

    [外链图片转存中...(img-QgoffE7Y-1574323266386)]

	8. status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

    真正提交Job

	9. jtFs.delete(submitJobDir, true);Job执行结束后删除当前Job的工作目录

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WdtT0Vla-1574323266386)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1574322825425.png)]
yujianxiaoyaobb
关注
专栏目录
Hadoop源码解析
weixin_44468025的博客
05-25 3934
一、hadoop的Job 提交流程源码 流程图： 1.从我们编写的mapreduce的代码中进入job提交源码 支线一：进入connect(); 2.支线二：进入submitter.submitJobInternal(Job.this, cluster) 该方法（submitter.submitJobInternal(Job.this, cluster)）往下翻： 存入了切片信息的本地路径 submitter.submitJobInternal(Job.this, cluster)方法继
[Hadoop源码解读]（三）MapReduce篇之Job类
苏格拉底的毒堇汁
08-24 6829
下面，我们只涉及MapReduce 1，而不涉及YARN。                                              当我们在写MapReduce程序的时候，通常，在main函数里，我们会像下面这样做。建立一个Job对象，设置它的JobName，然后配置输入输出路径，设置我们的Mapper类和Reducer类，设置InputFormat和正确
hadoop中MapReduce的job提交流程的源码分析
newhandnew413的博客
07-28 577
hadoop中MapReduce的job提交流程的源码分析： 业务代码job对象调用提交方法waitForCompletion()，此时进入源码分析流程 进入到Job类中的此方法，首先判断任务的状态，如果state == JobState.DEFINE ，就执行submit()方法 一、建立连接 ​connect(); 创建提交Job的代理 new Cluster(getConfiguration()); 判断是本地yarn还是远程 ​initialize(jobTrackAddr, conf); 二
大数据学习-Hadoop-Job提交源码分析
一碗糊涂虫的博客
11-10 185
由于近期有想转大数据行业的想法，所以开始研究大数据，我也会慢慢的将我的学习资料发到平台上来，今天带大家看一下Hadoop的MapReduce的Job提交工作的源码分析！ 代码大致流程 Driver类调用waitForCompletion方法 job.waitForCompletion(true); 首先执行submit方法 进行异常判断 ensureState(JobState.DEFINE); API转换 setUseNewAPI(); 连接创建 connect(); 创建提交job代理 ne
job提交作业流程
e3hhhh的博客
09-07 416
job提交作业流程 调用waitForCompletion每秒轮询作业进度，内部封装了submit()方法用于创建jobCommit的实例，jobCommit的实例实例会调用自己的submitJobInternal提交作业，如果状态有变化就将作业进度输出在控制台，如果失败也会将错误输出 jobCommit会向ResourceManager申请一个id号用于MapReduce作业，同时检查输出路径...
hadoop源码阅读（二）（Job提交源码)
qq_43585580的博客
07-12 246
hadoop源码2
hadoop-2.7.2源码分析之Job提交流程
xiaoxi_hahaha的博客
12-02 182
一 二 三 四 五
hadoop 源码解析_yarn源码解析
06-06
Hadoop 源码解析_Yarn 源码解析 Hadoop 是一个基于 Java 的大数据处理框架，Yarn 是 Hadoop 的资源管理器，负责资源分配、任务调度和集群管理。下面是 Yarn 源码解析的知识点： 1. MR 程序提交 MR（MapReduce）...
Hadoop入门：从客户端提交job到源码解析
Hadoop编程入门指南深入探讨了分布式计算框架...这篇文章为Hadoop初学者提供了一个扎实的基础，涵盖了分布式系统概念、Hadoop的组件、编程模型、源码解读以及生态系统，帮助读者逐步掌握这个强大的大数据处理工具。
Hadoop WordCount源码解读
每天进步一点点
07-26 3387
MapReduce编程模型MapReduce采用“分而治之”的思想。将HDFS上海量数据切分成为若干块，将每块的数据分给集群上的节点进行计算。然后通过整合各节点的中间结果，得到最终的结果。 HDFS上默认块的大小要比磁盘默认的大小大的多。其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间明显大于定位这个块开始位置所需时间。这样，传输一个由多个块组成的文件时间取决于磁盘传输速率。
Hadoop源码解析之如何获取JobId
liushahe2012的博客
01-23 1813
前一篇文章讲到客户端作业的提交流程，其中有调用到JobSubmitter类的submitJobInternal函数，里面有获取JobId的地方。 部分源码如下： JobStatus submitJobInternal(Job job, Cluster cluster) throws ClassNotFoundException, InterruptedException, IOExcep
记录学习ruoyi 第七节: 用户权限管理
最新发布
Autumn_iii的博客
11-02 2973
记录学习ruoyi 第七节: 用户权限管理
Job提交流程源码解析
zhijunming的博客
07-28 284
1. job.waitForCompletion(true); 在Driver中提交job 1) sumbit() 提交 (1) connect(): <1> return new Cluster(getConfiguration()); ① initialize(jobTrackAddr, conf); 通过YarnClientProtocolProvider | LocalClientProtocol...
Hadoop 2.7.1-Yarn 源码分析(一) 应用程序提交&&获得JobId
myllxy
04-18 713
1.我们是通过 hadoop 这个脚本来提交 mapreduce 作业的： 这几个是比较常用的： 2.定位到 RunJar()： 获得 main-class 中的主类名： 在 hadoop.tmp.dir 下创建 hadoop-unjar* 目录： 将文件解压到该工作目录下： 根据 java 反射机制执行 jar 包主类的 main 方法: 像上面这种类加载问题可以去...
Hadoop安全实践
一个有情怀的程序猿博客
07-14 1103
前言 在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题，随着集群的不断扩大， 各部门对集群的使用需求增加，集群安全问题就显得颇为重要。说到安全问题，一般包括如下方面: 用户认证(Authentication) 即是对用户身份进行核对， ..
java ugi确认框_Java HookContext.getUgi方法代码示例
weixin_39980129的博客
02-25 111
import org.apache.hadoop.hive.ql.hooks.HookContext; //导入方法依赖的package包/类@Overridepublic void run(final HookContext hookContext) throws Exception {// clone to avoid concurrent accesstry {final HiveEvent...
Job提交到Yarn过程详解
weixin_41870706的博客
04-10 4901
主要组件介绍： Yarn是个资源管理，任务调度的框架，主要包括三大模块：ResouceManager，NodeManager，ApplicationMaster ResouceManager：资源管理器，整个集群资源的协调者，调度者，管理者 NodeManager：NM是每个节点上的资源和任务管理器。它会定时地向RM汇报本节点上的资源使用情况和各个Contain...
java ugi确认框_在对hadoop进行任何操作之前，我应该调用ugi.checkTGTAndReloginFrom
weixin_42571280的博客
02-25 511
Hadoop提交者在这里！这是一个很好的问题。不幸的是，如果不深入研究应用程序的特定使用模式，很难给出明确的答案。相反，我可以提供一般准则，并描述Hadoop何时为您自动处理票证更新或从keytab重新登录，以及何时不这样做。Hadoop生态系统中Kerberos身份验证的主要用例是Hadoop的RPC框架，该框架使用SASL进行身份验证。Hadoop生态系统中的大多数守护进程都通过UserGro...
hadoop在Kerberos认证模式下的用户切换问题
weixin_34443490的博客
04-09 7263
hadoop使用到kerberos作为用户身份的一种认证方式。关于Kerberos的定义和用法，可以参考很多资料，这里就略过。 hadoop体系，hdfs,hbase，ｈｉｖｅ,spark等系统，事实上，都有权限控制体系，比如ＨＤＦＳ的读写权限控制，文件的所有者所属组等。kerberos在这里扮演的角色，事实上是一个验证的行为，告诉系统当前用户的身份是什么，方便权限控制系统进行判定。 　　对于
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值