hadoop 单节点模式无法启动datanode

最新推荐文章于 2023-10-27 14:37:17 发布

Crazy_Tortoise

最新推荐文章于 2023-10-27 14:37:17 发布

阅读量1.6k

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/skc361/article/details/41172005

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文介绍了一次Hadoop集群部署过程中遇到的问题，即DataNode无法启动的现象及解决过程。通过检查日志文件，发现异常提示信息指向主机名解析错误。最终通过编辑/etc/hosts文件添加主机名记录解决了该问题。

摘要由CSDN通过智能技术生成

问题：

使用hadoop2.2.0 搭建单机模式到hadoop集群，配置完毕，运行hadoop后，执行jps发现只有namenode 和 secondary namenode，没有datanode。

分析过程：

查看hadoop datanode日志 /opt/hadop-2.2.0/logs/hadoop-root-datanode-xxxx.log (xxxx 为主机名称）

发现有exception

2014-11-16 09:45:11,079 FATAL org.apache.hadoop.hdfs.server.datanode.DataNod e: Exception in secureMain
java.net.UnknownHostException: xxx: xxxx (xxxx 为主机名称)

看来应该是主机名称没有解析正确

解决过程：

$hostname
查看主机名称

#vim /etc/hosts

将主机名称添加到静态域名解析

127.0.0.1 xxxx(主机名)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Crazy_Tortoise

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop节点扩展：添加Datanode服务器

AsfSql的博客

10-06

274

Datanode是Hadoop分布式文件系统（HDFS）中的一个关键组件，负责存储实际的数据块并处理数据的读写操作。Web界面：在Web浏览器中访问主节点的地址和端口号（例如：http://namenode:50070），可以查看Hadoop集群的整体状态信息，并确认新的Datanode服务器是否已成功添加。新的Datanode将开始存储数据块并参与数据的读写操作，从而增加了集群的存储容量和数据处理能力。可以使用Hadoop的Web界面或命令行工具来检查新添加的Datanode服务器的状态。

Hadoop配置单节点，DataNode没有启动

Oeljeklaus的博客

07-17

1975

查看日志： [python] view plain copy [root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 IN

参与评论您还未登录，请先登录后发表或查看评论

Hadoop2.7集群datanode都起不来解决方案

weixin_41070431的博客

06-11

2922

datanode起不来的原因可以是：进行了namenode格式化操作。每次进行namenode格式化都会清空namenode文件存放目录下的文件并产生一个新的clusterID，但不会清空datanode产生的数据所存放的文件夹目录下的文件，也就是datanode文件存放目录下保存的clusterID还是之前的clusterID，这导致namenode下的clusterID和datanode下的c...

老卫带你学---启动Hadoop时候datanode没有启动的原因及解决方案

老卫带你学

07-29

284

有时候我们start-dfs.sh启动了hadoop但是发现datanode进程不存在一、原因当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID，这样，datanode和namenode之间的I

Hadoop集群启动（单结点）启动

qq_45834007的博客

02-16

386

已经启动过datanode,再次启动web页面访问不到

单节点下NameNode进程无法启动

zhikanjiani的博客

09-10

1031

背景：学习了若泽大数据，近期又在重新回顾一遍： **问题：**使用start-dfs.sh启动后，jps查看并没有NameNode进程。解决：第一步：定位到日志文件既然NameNode进程没看见启动，我们就要去查找原因，进入到记录NameNode、DataNode、SecondaryNameNode这三个进程的文件中，查看NameNode的近200行日志。记录三进程的日志目录在启...

关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题

m0_58676712的博客

07-21

3279

找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。

启动Hadoop，没有DataNode节点

qq_45736175的博客

06-28

6066

1.其他节点，如namenode都成功启动了，就是DataNode没有启动原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..

Hadoop在搭建集群完毕后，重启出现hadoop02节点以及Hadoop03节点中没有datanode问题

最新发布

m0_67311247的博客

10-27

288

Hadoop在搭建集群完毕后，重启出现hadoop02节点以及Hadoop03节点中没有datanode问题

Hadoop 集群安装配置过程中，web 监控页面 datanode 节点不能成功显示 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:

kekekeliang的博客

10-17

2017

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-117060438-192.168.xx.xx-1665735296906 (Datanode Uuid 51b77be5-c4d7-4fa3-b5ec-47596378be3f) service to master/192.168.10.11:9000 Datanode denied communication wit

单节点hadoop运行jps没有出现namenode

Kang Hao‘s Blog

06-25

1548

在部署单节点分布式的时候，访问9000端口成功出现页面，可是当我再学习hdfs的时候，需要对core-site.xml在的配置进行修改，但是修改后出现了一些问题，如运行jps出现的节点中namenode就不见了，网页也自然访问不了。那么究竟是什么原因产生的呢？既然是与namenode相关的问题，那么就要找到与namenode相关的日志去找到问题的原因啦。那我们便切换到日志的目录下 cd ...

【大数据入门核心技术-Hadoop】（八）Hadoop基本管理命令行

12-11

1019

HDFS有三种shell命令方式hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统hadoop：只能适用于HDFS文件系统hdfs dfs：跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统。

hadoop单机启动时datanode没有启动

yitian881112的专栏

11-28

2424

1.具体错误描述 2018-11-27 23:45:34,356 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/local/temp/hadoop/datanode/ java.io.IOException: Incompatible cluste...

安全启停datanode

chbxw

04-21

639

首先在$HADOOP_HOME下建一个文件excludes 放置所有要停掉的主机名，之后在hadoop-site.xml中添加配置 <property>

Hadoop单节点部署步骤

Dreamer博文

06-02

1804

Hadoop单节点部署步骤标签：伪分布式单节点 hadoop 大数据 1.Hadoop概况 2.Hadoop安装前准备 3.Hadoop安装步骤 4.Hadoop程序启动 5.测试配置情况 wordcount简单案例测试小序：Hadoop单节点部署主要涉及到了yarn,mapreduce,hdfs相关进程，里面涉及部分配置；目前已经测试通过。

hadoop的dataNode节点起不来

qq_29667805的博客

08-30

6137

今天发现hadoop集群挂掉了一个dataNode节点: 此时发现一个dataNode节点已经挂了快60个小时了(由于我被临时调用到别的工作中,以为这磁盘很坚强,加上加班,所以疏忽了,有点不称职了) 赶快启动单节点 hadoop-daemon.sh start datanode 顿时*花一紧,没起来.赶快查日志,日志文件上面那个 *********************...

NameNode和DataNode启动

I am not a quitter.

06-16

1872

NameNode的启动方式有：format、regular、upgrade、rollback、finalize、import六种，DataNode的启动方式有：regular、rollback两种。 NameNode regular 启动时会先创建Server，Server是RPC服务器端的实现，它主要负责和远程的客户端进行通信，反序列化和序列化远程调用中的参数和返回值，然后再创

Hadoop单节点伪分布式安装指南

在完成这些基本步骤后，还需要配置Hadoop的相关配置文件，比如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，以适应单节点伪分布式模式。通常，这些文件会设置数据存储和处理的基本参数，例如HDFS的数据块...

hadoop 单节点模式 无法启动datanode

hadoop 单节点模式无法启动datanode