hadoop运行后,mapreduce报Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

问题

今天Web端查看YARN 的ResourceManager发现State和FinalStatus都是failed
在这里插入图片描述
在这里插入图片描述

原因

mapred-site.xml文件中少配置了一些东西

解决

进入hadoop的安装目录下的etc/hadoop/mapred-site.xml/文件
加入一下内容即可:

<!--用于集群跑mr任务-->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
<property>
    <name>yarn.application.classpath</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop,
    /opt/module/hadoop-3.1.3/share/hadoop/common/lib/*,
    /opt/module/hadoop-3.1.3/share/hadoop/common/*,
    /opt/module/hadoop-3.1.3/share/hadoop/hdfs,
    /opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*,
    /opt/module/hadoop-3.1.3/share/hadoop/hdfs/*,
    /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,
    /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*,
    /opt/module/hadoop-3.1.3/share/hadoop/yarn,
    /opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*,
    /opt/module/hadoop-3.1.3/share/hadoop/yarn/*
    </value>
  </property>

现在State和FinalStatus就成功了
在这里插入图片描述
借鉴自博文:https://blog.csdn.net/muzhimuzhe/article/details/119838513

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值