菜鸟上手大数据一头雾水...所以先自己用三个虚拟机搭建一个hadoop集群环境了
hadoop版本2.7.3
JDK版本8u101
系统CentOS7
基本按照 博文
其中有两个值得注意的地方(或者说勘误一下):
其一第8步的mapred-site.xml应为yarn-site.xml
其二还是第8步中关于yarn.nodemanager.resource.memory-mb的设置,请设置至少为1024,否则host的nodemanager会启动失败
hadoop集群正常启动的情况下,可以用jps查看服务的端口,其中的master应该至少启动了
SecondaryNameNode
NameNode
ResourceManager
Jps
host在没有执行任务时应该至少启动了
Jps
DataNode
NodeManager
设置完毕后执行wordcount的程序,发现还是卡住了,调hadoop的日志看(日志的位置在start-all.sh)的时候会显示,默认在hadoop文件夹的log中看yarn的日志)发现分配的空间小了,我的wordcount需要1500mb空间,而设置成1024不够,于是再次将 yarn.nodemanager.resource.memory-mb都设置为2048后程序跑通,出来了想要的wordcount结果。