Hadoop get JobId

6764人阅读 评论(0) 收藏 举报
分类:

软件版本:hadoop2.6.4 ; jdk1.7,eclipse:Myeclipse2014;


问题描述:在进行MR任务提交的时候,想获取每次提交任务的jobId,这样在提交任务后,就可以根据此JobId来获取MR任务的进度了。

解决方案:

1. 之前想过的一种方式是:直接获取所有完成的JobID 列表,然后对其进行排序,取其最大的,接着使用最大的jobId来构造下一个jobId;但是这样会有问题,参考:http://blog.csdn.net/fansy1990/article/details/17426945 ;问题是当集群是第一次启动的时候,这个时候是没有已经完成JobId的列表的,所以想到了使用获取集群启动时间的解决办法,也就是刚才的链接内容;

2. 第二种方式是:既然提交MR任务的时候可以获取Job参数,那么是否可以通过该job参数来获取jobID呢?Job在调用job.waitForComplete后才会去集群中获取jobId ,并且此jobid在每次调用的时候都会递增1,而不管任务时候完成,即如果在jobId获取后的地方加个断点:


那么,后面直接关闭调试程序,下次再次运行此程序,发现获取的jobID是跳跃的,如下:


并且,中间的jobid的任务没有任何信息;

那么在Job初始化jobId后,如何获取这个JobId呢? 采用静态类:

如下,定义静态类:

package ssh.getjobid;

import java.util.Date;

import org.apache.hadoop.mapreduce.Job;

public class StaticInfo {

	private static Job job = null;

	public static Job getApplicationId() {
		return job;
	}

	public static synchronized void setApplicationId(Job applicationId) {
		StaticInfo.job = applicationId;
	}

	public static String getJobId() {
		long start = System.currentTimeMillis();
		while (noJobId()) {
			try {
				Thread.sleep(200);
			} catch (InterruptedException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			System.out.println(new Date() + ":getting job id ...");
		}
		long end = System.currentTimeMillis();

		System.out.println("获取jobId,耗时:" + (end - start) * 1.0 / 1000 + "s");
		return job.getJobID().getJtIdentifier() + job.getJobID().getId() + "-"
				+ job.getJobID().toString();
	}

	private static boolean noJobId() {
		if (job == null || job.getJobID() == null)
			return true;

		return false;
	}

}

在静态类中,使用一个静态Job变量来获取提交的MR任务的Job,然后在获取JobId的时候,采用一个while循环,不断的去遍历,看是否可以获取JobId,如果可以获取,则直接返回jobId,否则进行查询;

此Job变量在MR任务中需要进行设置


同时,测试程序需要采用多线程的方式,这主程序中就可以通过while循环来获取jobID了;


而Runnable里面则是调用MR任务的实际代码:

package ssh.getjobid;

import org.apache.hadoop.util.ToolRunner;

import ssh.WordCount;

public class WcRunnable implements Runnable {
	private String input;
	private String output;

	public WcRunnable(String in, String out) {
		input = in;
		output = out;
	}

	@Override
	public void run() {
		String[] args = new String[] { input, output };
		try {
			ToolRunner.run(TestGetJobID.getConf(), new WordCount(), args);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

}

测试结果如下:



注意点: 此方式只能针对每次一个MR任务的提交进行监控,并且确认可以修改MR源码(即在job.waitForComplete前面加上静态类的set方法)


分享,成长,快乐

脚踏实地,专注

转载请注明blog地址:http://blog.csdn.net/fansy1990


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:981705次
    • 积分:12575
    • 等级:
    • 排名:第1147名
    • 原创:261篇
    • 转载:4篇
    • 译文:3篇
    • 评论:685条
    博客专栏
    文章分类
    最新评论