OOZIE JA017: Unknown hadoop job

OOZIE执行任务,集群上任务已经执行完成,但是报以下错误导致任务fail

org.apache.oozie.action.ActionExecutorException: JA017: Unknown hadoop job [job_1457427498649_0244] associated with action [0000000-160311153311456-oozie-jd_a-W@mr-node].  Failing this action!
	at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1200)
	at org.apache.oozie.command.wf.ActionCheckXCommand.execute(ActionCheckXCommand.java:181)
	at org.apache.oozie.command.wf.ActionCheckXCommand.execute(ActionCheckXCommand.java:55)
	at org.apache.oozie.command.XCommand.call(XCommand.java:281)
	at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:174)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
	at java.lang.Thread.run(Thread.java:745)

后来发现 yarn-site.xml中配置了以下配置:

<property>
    <name>yarn.log-aggregation-fs</name>
    <value>hdfs://ns5</value>
</property>
导致任务执行日志都迁移到ns5,而我的任务跑在ns3上。把这个配置删除,任务成功执行。


此外从其他文章中看到有可能

yarn-site.xml中
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/user/history/done</value>
</property>

mapred-site.xml中
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/user/history/done_intermediate</value>
</property>
不一致也会导致任务出现这种失败

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值