Hadoop集群搭建部分结点没有出现NodeManager问题解决方法

有可能是配置文件没有配置好

我是在B站跟着视频学习的,一开始在评论找到方法如下:在mapred-site.xml文件添加

<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>​

但尝试无果,后来逛帖子寻找解决方法把/opt/module/hadoop-3.1.3都改为了hadoop在虚拟机下的classpath,还是无果

后来仔细看了运行过程,发现如下的错误提示:

 蹩脚英语勉强看懂了是因为虚拟机内存不足通过修改yarn-site.xml文件如下:

我修改了核心数,修改的数值对应自己的虚拟机核心数,该数值可以通过:

cat /proc/cpuinfo  | grep "cpu cores"| uniq

来查看,该数值默认值是8 

最后保存文件,并重新分发到各台机器,重启集群,问题得到解决

 

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值