启动整个Hadoop集群:
[
root@sparkmaster ~]#
start-dfs.sh
[
root@sparkmaster ~]#
yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-resourcemanager-sparkmaster.out
[
root@sparkmaster ~]#
yarn-daemon.sh --hosts allnodes start nodemanager
starting nodemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-nodemanager-sparkmaster.out
当执行完启动整个hdfs集群的操作之后,登录hdfs node界面sparkmaster:8088/cluster/nodes,却只看到部分node。
这说明不是所有的nodemanager都register到namenode来了。果然,登录集群另外2个节点jps一下,没有nodemanager这个进程。
仔细检查,原来启动nodemanager的时候脚步用错了,错用了yarn-daemon.sh,实际应该用yarn-daemons.sh
再运行一遍启动脚步,
再登录GUI查看,就可以看到所有的node了
以前也遇到过类似问题,具体也是因为有的nodemanager somehow退出了。只要保证nodemanager都正常运行,一般都能在GUI上显示了。