【Hadoop】47-多job串联

最新推荐文章于 2023-05-09 20:39:51 发布

一直不懂

最新推荐文章于 2023-05-09 20:39:51 发布

阅读量644

点赞数

分类专栏： Hadoop权威指南

本文链接：https://blog.csdn.net/shenchaohao12321/article/details/82470157

版权

Hadoop权威指南专栏收录该内容

51 篇文章

订阅专栏

本文介绍如何使用MapReduce框架的JobControl实现多个MapReduce作业的串联处理，通过设置作业依赖关系，确保复杂数据处理流程的正确执行。

摘要由CSDN通过智能技术生成

一个稍复杂点的处理逻辑往往需要多个mapreduce程序串联处理，多job的串联可以借助mapreduce框架的JobControl实现。

ControlledJob cJob1 = new ControlledJob(job1.getConfiguration());
ControlledJob cJob2 = new ControlledJob(job2.getConfiguration());
ControlledJob cJob3 = new ControlledJob(job3.getConfiguration());
cJob1.setJob(job1);
cJob2.setJob(job2);
cJob3.setJob(job3);
// 设置作业依赖关系
cJob2.addDependingJob(cJob1);
cJob3.addDependingJob(cJob2);
JobControl jobControl = new JobControl("RecommendationJob");
jobControl.addJob(cJob1);
jobControl.addJob(cJob2);
jobControl.addJob(cJob3);
// 新建一个线程来运行已加入JobControl中的作业，开始进程并等待结束
Thread jobControlThread = new Thread(jobControl);
jobControlThread.start();
while (!jobControl.allFinished()) {
      Thread.sleep(500);
}
jobControl.stop();
return 0;