本人环境 centos7,JDK1.8,Hadoop2.8.2
测试环境时报错1.WARN hdfs.DFSClient:DataStreamer Exception.There are 0 datanode(s) running and no node(s) areexcluded in this operation.
原因及解决办法:Linux默认关闭防火墙(不敢完全确定,但我用的centos是的),而在集群运行中需要集群中的节点相互通信,就会出现上面的报错,所以如果是在测试环境(正式环境不要这么操作,只需要开启所需端口,同时应加上相应的安全验证手段以防攻击)可以关闭防火墙。(注意:不同版本的linux关闭防火墙的命令是不一定相同的,查找所用版本的命令操作即可,在此就不写具体的命令了)。
2.测试环境时运行到:mapreduce.Job: Running job: job_就不往下进行
原因及解决办法:(正式环境很少会遇到)主要是因为配置的内存和虚拟内存,磁盘空间等不足所致。解决办法:在yarn-site.xml中增加yarn.nodemanager.resource.memory-mb、yarn.scheduler.minimum-allocation-mb、yarn.nodemanager.vmem-pmem-ratio的配置
例如:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
希望遇到问题的朋友少走点弯路。
欢迎志趣相投的朋友一起学习交流!
本人qq:906570770
技术资料分享群:272811256(本人收集的资料免费分享,也是技术交流学习的好去处)