登录DAP下载了相关的*.xml文件,提交任务报错发现了如下问题:
参数:mapreduce.framework.name
缺少现象:导致提交到yarn上的任务走local本地模式
参数:mapreduce.jobhistory.address
缺少现象:任务跑完后,报:Caused by: java.net.ConnectException: Call From hnidc-goldendata4/10.22.23.24 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接;原因是未填引用了本机上ip作为jobhistory地址(我这边实际是jobhistory地址为10.22.23.23:10020)
参数:yarn.application.classpath
漏填现象:后面漏填未引用了/opt/ZDH/parcels/lib/hadoop-mapreduce/*,/opt/ZDH/parcels/lib/hadoop-mapreduce/lib/*这个mapreduce相关jar包,导致作业提交yarn上运行失败报错,错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster