有可能是配置文件没有配置好
我是在B站跟着视频学习的,一开始在评论找到方法如下:在mapred-site.xml文件添加
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
但尝试无果,后来逛帖子寻找解决方法把/opt/module/hadoop-3.1.3都改为了hadoop在虚拟机下的classpath,还是无果
后来仔细看了运行过程,发现如下的错误提示:
蹩脚英语勉强看懂了是因为虚拟机内存不足通过修改yarn-site.xml文件如下:
我修改了核心数,修改的数值对应自己的虚拟机核心数,该数值可以通过:
cat /proc/cpuinfo | grep "cpu cores"| uniq
来查看,该数值默认值是8
最后保存文件,并重新分发到各台机器,重启集群,问题得到解决