Hadoop问题汇总

失业的中年程序员

已于 2024-05-05 17:18:32 修改

阅读量145

点赞数 2

分类专栏：大数据文章标签： hadoop 大数据分布式

于 2024-04-24 02:22:40 首次发布

本文链接：https://blog.csdn.net/hhujjj2005/article/details/138143204

版权

大数据专栏收录该内容

8 篇文章 0 订阅

订阅专栏

1) hadoop运营java.jar文件时,报Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster错误

# hadoop classpath
hadoop classpath路径

# vi mapred-site.xml
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=hadoop classpath路径</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=hadoop classpath路径</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=hadoop classpath路径</value>
</property>

参考：HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}_<value>hadoop_mapred_home=${full path of your hado-CSDN博客

2) hadoop运营java.jar文件时,报The auxService:mapreduce_shuffle does not exist错误

# vi yarn-site.xml
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>

参考：The auxService:mapreduce_shuffle does not exist 问题解决记录-CSDN博客