出现跑 MR job的时候卡主,根被就没有执行map 和reduce,修改yarn-site.xml的内存也不管用,查看8088接口,发现yarn的Memory Total =0B,Active Nodes =0,而Unhealthy Nodes =1,字面意思就是存在不健康的节点有一个
而我总共就一个节点,所以yarn不能为mr job分配节点执行任务
怎么会出现这种情况,查了资料,说是磁盘满了,但是删了内容,还是不行.有可能是我删文件删错哪里了
总之最终通过以下办法解决了
在yarn-site.xml添加如下内容
<configuration>
<property>
<name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
<value>0.0</value>
</property>
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>100.0</value>
</property>
</configuration>
参考:https://stackoverflow.com/questions/29010039/yarn-unhealthy-nodes