搭建hadoop伪分布式中的问题

之前搭建了的spark集群环境，现在想借其中一台slave机搭建一个hadoop的伪分布式，基本没什么需要做的，主要是建立与localhost的ssh免密连接以及稍微改了一下core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件的配置，这个很多博客都有，不再赘述。现在说一下其中容易出现的问题。


1.datanode无法启动


2.nodemanager无法启动


3.nodemanager启动了但是没有跟 nodemanager 链接上
4.wordcount停到map0% reduce0%就不动了。


解决方法：


1.如果在上述配置文件中写了datenode和namenode的路径，将其注释掉；然后在执行hadoop -format之前将把/tmp下的Hadoop开关的临时文件删除，基本就没有问题了，启动以后jps就可以看到datanode了。
参考解释原因：http://blog.csdn.net/love666666shen/article/details/74350358
2.我在伪分布式上运行wordcount的时候发现卡在 INFO mapreduce.Job: Running job: 就不走了，然后上yarn web平台看发现没有资源了（注意是8080端口），原来问题是nodemanager没起来，于是在yarn-site.xml中加了一段：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>

参考解释原因：不知道，总之应该把nodemanager的启动内存整小一点。


3.还是wordcount这里，出现了一个问题是：InvalidResourceRequestException:Invalid resource request,request memory<0 or >1024...就是上一个文件，我之前写的是1024，现在改成了2048，看来也不能改的太小了。


4.这也是邪门，我看了yarn web平台，一切好像没什么问题，就是process停止在5%，好像还是内存原因，解决了更新。