Hadoop集群活跃节点为0解决方案

Hadoop集群活跃节点为0解决方案

问题描述

我按照教程修改了Hadoop下的配置文件，然后使用start-all.sh启动整个集群。jps查看每个节点该启动的进程都启动了，可以访问master：50070页面，但是其中的Live Nodes项显示为0， 可是我明明有两个data node服务器。

解决思路

造成这样结果的原因有很多，如多单纯的copy这样的问题去问度娘，很难快速得到满意的答案。但是也可以用这一步做一些基本的问题排除。比如，查看一下你的Name Node的Cluster ID与Data Node的Cluster ID是否一样，防火墙是否关闭，或者相应的端口是否开放等等。
在排除了一些网上可搜到的常见问题之后，最靠谱的操作就是查看日志！

解决方案

首先查看NameNode的输出日志：

cat /home/hostname/hadoop/hadoop-2.8.2/logs/hadoop-pangying-namenode-master.log

注：我是用的rz指令直接将日志输出到本地客户端

2017-11-10 18:37:11,685 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2017-11-10 18:37:11,694 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []
2017-11-10 18:37:12,167 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-11-10 18:37:12,302 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2017-11-10 18:37:12,302 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2017-11-10 18:37:12,328 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: fs.defaultFS is hdfs://master:9000
2017-11-10 18:37:12,334 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Clients are to use master:9000 to access this namenode/service.
2017-11-10 18:37:12,776 INFO org.apache.hadoop.util.JvmPauseMonitor: Starting JVM pause monitor
2017-11-