从yarn中获取mapreduce job信息的api

最新推荐文章于 2024-08-22 09:30:20 发布

liuluxyz

最新推荐文章于 2024-08-22 09:30:20 发布

阅读量2.9k

点赞数 1

分类专栏： yarn 文章标签： yarn mapreduce api job

本文链接：https://blog.csdn.net/liuluxyz/article/details/38844427

版权

本文介绍了如何通过YARN的JobHistory API来获取MapReduce作业的详细信息，包括不同方式和步骤，帮助开发者更好地监控和管理MapReduce任务。

摘要由CSDN通过智能技术生成

方式1：JobHistory

  Configuration conf = new Configuration();
  conf.addResource(new Path("/hadoop/etc/hadoop/mapred-site.xml"));
  JobHistory his = new JobHistory();
  his.init(conf);
  Map<JobId, Job> jobs = his.getAllJobs();//获取的job信息是不完整的（PartialJob）
  Job fullJob = his.getJob(jobId);//获取的job信息是完整的（CompletedJob）

注1：从JobHistory获取的job是所有完成的job，包括历史job

注2：JobHistory是通过load hdfs上的history file获取job信息

注3：PartialJob中无法获取counters、configuration、task等详细信息