在Hadoop中执行MapReduce作业报错：Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.

原创已于 2024-11-05 20:27:04 修改 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce

于 2024-11-05 20:25:28 首次发布

大数据专栏收录该内容

3 篇文章

订阅专栏

！！！成功解决版！！！

一、问题：

提交一个 MapReduce 作业后出现报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.

2024-11-06 02:21:34,024 INFO mapreduce.Job:  map 0% reduce 0%
2024-11-06 02:21:34,049 INFO mapreduce.Job: Job job_1730830111605_0001 failed wi                        th state FAILED due to: Application application_1730830111605_0001 failed 2 time                        s due to AM Container for appattempt_1730830111605_0001_000002 exited with  exit                        Code: 1
Failing this attempt.Diagnostics: [2024-11-06 02:21:32.775]Exception from contai                        ner-launch.
Container id: container_1730830111605_0001_02_000001
Exit code: 1

[2024-11-06 02:21:32.838]Container exited with a non-zero exit code 1. Error fil                        e: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAp                        pMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configur                        ation:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</                        value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</                        value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</                        value>
</property>

二、分析过程：

我的mapred-site.xml文件里确实没有这些配置，但是配置了也不管用。（这步骤就不弄了，因为没用）

错误信息“Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster”表明 Hadoop 无法找到 MapReduce 应用程序的主类，意味着 MapReduce 框架的 classpath 配置存在问题。
日志中提到的 prelaunch.err 文件显示了错误的详细信息，通常这些错误信息与 Java 的类加载机制有关，也就是 JVM 无法找到所需的类。

三、可能原因：

Classpath 配置不正确：如果 yarn.application.classpath 中没有正确地包含 Hadoop 的相关 jar 包路径，就会引发这类错误。Hadoop 需要在 classpath 中找到所有相关的类（包括 MRAppMaster）。
环境变量未设置：在运行 MapReduce 任务之前，Hadoop 框架需要一些环境变量，例如 HADOOP_MAPRED_HOME，这些环境变量指向 Hadoop 安装目录。如果这些环境变量没有正确设置，也会导致类加载失败。

四、解决方案：（具体步骤在后面）

解决类加载的问题：配置确保Hadoop 所需的所有 jar 包和配置文件都包括在 classpath 中。

五、具体步骤：

1.执行下面的命令

hadoop classpath

先把输出结果复制下来，后面要添加到yarn-site.xml文件中

注：执行hadoop classpath命令会输出Hadoop所有相关的类路径，包括Hadoop的核心库、YARN、MapReduce和HDFS等组件的库文件。这个信息对于调试和配置非常重要。

2.编辑文件：vi `yarn-site.xml`

通常位于Hadoop的配置目录中，路径一般为$HADOOP_HOME/etc/hadoop/yarn-site.xml

在<configuration>标签内添加所需的YARN配置属性

    <property>
        <name>yarn.application.classpath</name>
        <value>将hadoop classpath命令输出的内容全部复制这里</value> 
    </property>

3.重启Hadoop服务

修改配置后，需要重启Hadoop的YARN服务以使更改生效：

$HADOOP_HOME/sbin/stop-yarn.sh

$HADOOP_HOME/sbin/start-yarn.sh