楼主在Linux服务器上将作业提交到Yarn上报错:
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
经过网上的搜索以及自己的实验,解决了问题,现在将解决办法分享给大家:
在安装的hadoop的/etc/hadoop文件首写打开hdfs-site.xml文件如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
</configuration>
我们需要拷贝/home/hadoop/app/tmp,接下来把这个路径添加到yarn-site.xml并且在后面追加/nm-local-dir,具体配置文件如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/app/tmp/nm-local-dir</value>
</property>
</configuration>
然后重新启动hadoop的hdfs和yarn即可解决这个问题,这里需要注意到的是hdfs-site.xml文件里的这个/home/hadoop/app/tmp是自定义的,每个机器安装的路径可能不相同,情况得具体看待.