JobClient

最新推荐文章于 2023-07-23 13:04:54 发布

linuxheik

最新推荐文章于 2023-07-23 13:04:54 发布

阅读量942

点赞数 1

分类专栏：云数据库

云数据库专栏收录该内容

52 篇文章 0 订阅

订阅专栏

我是想收集一些作业跟踪中的信息。对于初学者来说，我想开始让正在运行的作业信息如作业id或者工作名称等。但已经跑了，下面是我有什么( 将打印出当前运行作业的作业id )



public static void main(String[] args) throws IOException {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "zk1.myhost,zk2.myhost,zk3.myhost");
        conf.set("hbase.zookeeper.property.clientPort", "2181");

        InetSocketAddress jobtracker = new InetSocketAddress("jobtracker.mapredhost.myhost", 8021);
        JobClient jobClient = new JobClient(jobtracker, conf);
        JobStatus[] jobs = jobClient.jobsToComplete();

        for (int i = 0; i <  jobs.length; i++) {
            JobStatus js = jobs[i];
            if (js.getRunState() == JobStatus.RUNNING) {
                JobID jobId = js.getJobID();
                System.out.println(jobId);
            }
        }
    }

This above 作为rvi的魅力，如果试图显示，但是现在我想显示作业名和作业id 。所以我在打印作业id后添加这一行。



System.out.println(jobClient.getJob(jobId).getJobName());

我获得这里异常。



Exception in thread "main" java.lang.NullPointerException
    at org.apache.hadoop.mapred.JobClient$NetworkedJob.< init> (JobClient.java:226)
    at org.apache.hadoop.mapred.JobClient.getJob(JobClient.java:1080)
    at org.apache.test.JobTracker.main(JobTracker.java:28)

jobClient 不 null . 我知道是因为我没有试图以null检查如果语句，但 jobClient.getJob(jobId) is null . 这里我哪里不对？

根据APi我应该是不错的。

http / / hadoop.apache.org / mapreduce / docs / r0.21.0 / api / org / apache / hadoop / mapr / JobClient.html#getJob( org.apache.hadoop.mapred.JobID )

首先得到 RunningJob 从你有运行作业。然后把它jobClient不只一次的名字http://hadoop.apache.org/mapreduce/docs/r0.21.0/api/org/apache/hadoop/mapred/RunningJob.html#getJobName ( )

任何人都做了个这样的吗？我可以使用 jsoup 但我认为这是更好的办法来获取这里信息波谷处的获取请求来获取该信息。

问题更新这是我的hadoop / hbase依赖项。



< dependency> 
            < groupId> org.apache.hadoop< /groupId> 
            < artifactId> hadoop-client< /artifactId> 
            < version> 0.23.1-mr1-cdh4.0.0b2< /version> 
        < /dependency> 
        < dependency> 
            < groupId> org.apache.hadoop< /groupId> 
            < artifactId> hadoop-core< /artifactId> 
            < version> 0.23.1-mr1-cdh4.0.0b2< /version> 
            < exclusions> 
                < exclusion> 
                    < groupId> org.mortbay.jetty< /groupId> 
                    < artifactId> jetty< /artifactId> 
                < /exclusion> 
                < exclusion> 
                    < groupId> javax.servlet< /groupId> 
                    < artifactId> servlet-api< /artifactId> 
                < /exclusion> 
            < /exclusions> 
        < /dependency> 
        < dependency> 
            < groupId> org.apache.hbase< /groupId> 
            < artifactId> hbase< /artifactId> 
            < version> 0.92.1-cdh4b2-SNAPSHOT< /version> 
        < /dependency>

赏金更新：

下面是我导入的是



import java.io.IOException;
import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobID;
import org.apache.hadoop.mapred.JobStatus;

这里的输出 System.out.println(jobId) :



job_201207031810_1603

只有一个作业正在运行。



public static void main(String[] args) throws IOException {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "zk1.myhost,zk2.myhost,zk3.myhost");
        conf.set("hbase.zookeeper.property.clientPort", "2181");

        InetSocketAddress jobtracker = new InetSocketAddress("jobtracker.mapredhost.myhost", 8021);
        JobClient jobClient = new JobClient(jobtracker, conf);
        JobStatus[] jobs = jobClient.jobsToComplete();

        for (int i = 0; i <  jobs.length; i++) {
            JobStatus js = jobs[i];
            if (js.getRunState() == JobStatus.RUNNING) {
                JobID jobId = js.getJobID();
                System.out.println(jobId);
            }
        }
    }