Hadoop集群活跃节点为0解决方案

最新推荐文章于 2022-10-04 20:33:43 发布

Ichimaru_Gin_

最新推荐文章于 2022-10-04 20:33:43 发布

阅读量7.3k

点赞数 3

分类专栏：问题解决文章标签： hadoop hadoop集群解决方案服务器

本文链接：https://blog.csdn.net/ichimaru_gin_/article/details/78528203

版权

本文档详细介绍了在启动Hadoop集群后，Live Nodes显示为0的问题及解决过程。从检查配置、日志分析到定位host文件错误，并通过修正host文件解决问题，最终实现所有节点正常连接。

摘要由CSDN通过智能技术生成

Hadoop集群活跃节点为0解决方案

问题描述

我按照教程修改了Hadoop下的配置文件，然后使用start-all.sh启动整个集群。jps查看每个节点该启动的进程都启动了，可以访问master：50070页面，但是其中的Live Nodes项显示为0，可是我明明有两个data node服务器。

解决思路

造成这样结果的原因有很多，如多单纯的copy这样的问题去问度娘，很难快速得到满意的答案。但是也可以用这一步做一些基本的问题排除。比如，查看一下你的Name Node的Cluster ID与Data Node的Cluster ID是否一样，防火墙是否关闭，或者相应的端口是否开放等等。
在排除了一些网上可搜到的常见问题之后，最靠谱的操作就是查看日志！

解决方案

首先查看NameNode的输出日志：

cat /home/hostname/hadoop/hadoop-2.8.2/logs/hadoop-pangying-namenode-master.log

注：我是用的rz指令直接将日志输出到本地客户端

2017-11-10 18:37:11,685 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2017-11-10 18:37:11,694 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []
2017-11-10 18:37:12,167 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-11-10 18:37:12,302 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2017-11-10 18:37:12,302 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2017-11-10 18:37:12,328 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: fs.defaultFS is hdfs://master:9000
2017-11-10 18:37:12,334 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Clients are to use master:9000 to access this namenode/service.
2017-11-10 18:37:12,776 INFO org.apache.hadoop.util.JvmPauseMonitor: Starting JVM pause monitor
2017-11-