JobClient应用概述

一、应用背景

由于在设计中有一个模块是对Job的管理,所以,在这里我采用了JobClinet来进行简单的控制。

二、应用点

JobClient指的是org.apache.hadoop.mapred.JobClient这个类。里面有不少的方法,我这里列举一些我用到的和一些需要注意的方法。

1、JobClient的实例化。这里有2中方法,一种是new JobClient(new JobConf);另外一种是实例化IP地址和端口。

2、通过JobClient获取Job列表。

JobClient.jobsToComplete()返回没有完成和没有失败的Job。换句话说就是在运行的Job。

JobClient.getAllJobs()返回所有的Job,不管是失败还是成功的。

3、获取JobID

JobID是一个Job的唯一标识,如果要获取指定的JobID,那么需要有根据,例如UserName。我这里是通过User来获取JobID。方法是遍历Job,然后找到名称相匹配的Job,然后取出ID。

4、通过线程阻塞的模式来等待Job执行完成。

JobClient.getJob(JobID).waitForCompletion();

三、总结

1、JobClient的应用很简单,总的说来就那么几种,细致看一下API就会大部分的应用。

2、通过JobClient还可以对task进行监控,也可以获取Job的进度百分比。

3、写的比较简单,写的不对或是有疑问可以发邮件dajuezhao@gmail.com
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值