hadoop由于NodeManager无法启动而导致执行Jar包出现running job卡住的解决方案之一...

菜鸟上手大数据一头雾水...所以先自己用三个虚拟机搭建一个hadoop集群环境了

hadoop版本2.7.3

JDK版本8u101

系统CentOS7

基本按照 博文  

其中有两个值得注意的地方(或者说勘误一下)：

   其一第8步的mapred-site.xml应为yarn-site.xml

   其二还是第8步中关于yarn.nodemanager.resource.memory-mb的设置，请设置至少为1024，否则host的nodemanager会启动失败

hadoop集群正常启动的情况下，可以用jps查看服务的端口，其中的master应该至少启动了

SecondaryNameNode
NameNode
ResourceManager
Jps

host在没有执行任务时应该至少启动了

Jps
DataNode
NodeManager

设置完毕后执行wordcount的程序，发现还是卡住了，调hadoop的日志看(日志的位置在start-all.sh)的时候会显示，默认在hadoop文件夹的log中看yarn的日志)发现分配的空间小了，我的wordcount需要1500mb空间，而设置成1024不够，于是再次将 yarn.nodemanager.resource.memory-mb都设置为2048后程序跑通，出来了想要的wordcount结果。