Hadoop 之Job提交推演

Job提交推演:
    1.Job job = Job.getInstance();
    2.job.waitForCompletion();
        job.submit();
            submitter.submitJobInternal(Job.this, cluster);
                //检查目录是否存在
                checkSpecs(job);
                
                //准备hdfs上的Staging目录：/tmp/..../.staging
                JobSubmissionFiles.getStagingDir(cluster, conf);
                
                //得到jobId
                submitClient.getNewJobID();
                
                //构造提交job目录/tmp/..../.staging/job_xxx-000
                Path submitJobDir = new Path(jobStagingArea, jobId.toString());
                
                //复制与配置文件(jar)
                copyAndConfigureFiles(job, submitJobDir);
                
                //写入切割信息文件
                writeSplits(job, submitJobDir);
                
                //构造提交job文件路径
                Path submitJobFile = JobSubmissionFiles.getJobConfPath(submitJobDir);
                
                //写入配置文件
                writeConf(conf, submitJobFile);
                
                //提交作业
                submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials())

转载于:https://my.oschina.net/weigy/blog/891881