细数搭建hadoop集群中遇到的坑及解决办法

本人环境 centos7，JDK1.8,Hadoop2.8.2

测试环境时报错1.WARN hdfs.DFSClient:DataStreamer Exception.There are 0 datanode(s) running and no node(s) areexcluded in this operation.

原因及解决办法：Linux默认关闭防火墙（不敢完全确定，但我用的centos是的），而在集群运行中需要集群中的节点相互通信，就会出现上面的报错，所以如果是在测试环境（正式环境不要这么操作，只需要开启所需端口，同时应加上相应的安全验证手段以防攻击）可以关闭防火墙。（注意：不同版本的linux关闭防火墙的命令是不一定相同的，查找所用版本的命令操作即可，在此就不写具体的命令了）。

2.测试环境时运行到：mapreduce.Job: Running job: job_就不往下进行

原因及解决办法：（正式环境很少会遇到）主要是因为配置的内存和虚拟内存，磁盘空间等不足所致。解决办法：在yarn-site.xml中增加yarn.nodemanager.resource.memory-mb、yarn.scheduler.minimum-allocation-mb、yarn.nodemanager.vmem-pmem-ratio的配置
例如：

<property>  
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <value>20480</value>  
</property>  
<property>  
   <name>yarn.scheduler.minimum-allocation-mb</name>  
   <value>2048</value>  
</property>  
<property>  
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <value>2.1</value>  
</property>  

希望遇到问题的朋友少走点弯路。

欢迎志趣相投的朋友一起学习交流！
本人qq：906570770
技术资料分享群：272811256（本人收集的资料免费分享，也是技术交流学习的好去处）