java 调用oozie 实例_Java作业的MR Job从Oozie本地运行

我正在尝试使用Java动作为Oozie中的驱动程序运行一系列MR作业 .

问题是MR作业是在本地运行而不是在Hadoop集群上运行 . 如何解决这个问题?

以下是使用默认构造函数创建配置时的配置

Configuration conf = new Configuration()

mapreduce.jobtracker.address = local

mapreduce.framework.name = local

通过将其添加到配置(基于以下链接),我能够在HDP群集上运行我的MR作业:

Configuration conf = new Configuration(false);

conf.addResource(new Path("file:///", System.getProperty("oozie.action.conf.xml")));

然后,当我打印conf时,它看起来像:

mapreduce.jobtracker.address = 192.168.84.27:8050

mapreduce.framework.name = yarn

但为什么我需要这样做以及如何避免呢?我有一系列从这个Java动作运行的MR作业,我不想将自己绑定到使用Oozie并将其添加到每个作业的配置中 . 有没有办法让我的作业默认在Oozie上运行?

我应该提一下,这是一个HDP集群,并通过Ambari进行设置 .

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值