在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法

楼主在Linux服务器上将作业提交到Yarn上报错:

Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

 经过网上的搜索以及自己的实验,解决了问题,现在将解决办法分享给大家:

在安装的hadoop的/etc/hadoop文件首写打开hdfs-site.xml文件如下：

<configuration>
 
        <property>
           <name>dfs.replication</name>
           <value>1</value>
        </property>
 
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/hadoop/app/tmp</value>
        </property>
 
</configuration>

  我们需要拷贝/home/hadoop/app/tmp，接下来把这个路径添加到yarn-site.xml并且在后面追加/nm-local-dir,具体配置文件如下:

<configuration>
 
<!-- Site specific YARN configuration properties -->
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
 
        <property>
           <name>yarn.nodemanager.local-dirs</name>
           <value>/home/hadoop/app/tmp/nm-local-dir</value>
        </property>
 
</configuration> 

 然后重新启动hadoop的hdfs和yarn即可解决这个问题,这里需要注意到的是hdfs-site.xml文件里的这个/home/hadoop/app/tmp是自定义的,每个机器安装的路径可能不相同,情况得具体看待.