Hadoop报错-Datanode denied communication with namenode because hostname cannot be resolved

最新推荐文章于 2023-10-05 21:20:22 发布
最新推荐文章于 2023-10-05 21:20:22 发布
阅读量4.9k 收藏 3
点赞数 1
分类专栏： 报错 文章标签： hostname cannot be resolved Hadoop报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JavaDestiny/article/details/87294090
版权

Issue

在伪分布模式下，DataNode的服务器无法启动

在这里插入图片描述
在这里插入图片描述

Answer

由于无法解析主机名，datanode拒绝与namenode通信

（1）重点检查/etc/hosts的配置文件是否配置正确，修改完reboot重启

hosts配置文件

在这里插入图片描述

（2）删除dfs.namenode.name.dir和dfs.datanode.data.dir目录的文件

在这里插入图片描述
在这里插入图片描述

（3）重新格式化NameNode，重新启动NameNode

在这里插入图片描述

（4）最后重新启动DataNode

在这里插入图片描述
在这里插入图片描述

JP-Destiny
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hostname启动Hadoop
weixin_44729445的博客
07-15 165
1、Hadoop组件 namenode：nn 名称节点，老大 datanode：dn 数据节点，小弟，真正做数据的读写操作的 secondary namenode：snn 第二名称节点，老二 ——主从架构（大数据组件大部分都是主从架构） 2、启动Hadoop [hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh 19/07/03 21:02:04 WARN...
How-to: Resolve "Datanode denied communication with namenode because hostname cannot be resolved (ip
lulynn的博客
07-02 7961
Error: org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode because hostname cannot be resolved (ip=172.31.34.70, h ostname=172.31.34.70):
所以告诉我有关链表的信息
weixin_26751591的博客
09-17 287
Having recently graduated from a coding bootcamp, I’ve been deep into studying data structures and algorithms to better my fundamental knowledge. Linked lists are a relatively simple data structure, b...
atanode denied communication with namenode because hostname cannot be resolved
m0_37759590的博客
05-15 282
atanode denied communication with namenode because hostname cannot be resolved
Hadoop集群不显示datanode(Datanode denied communication with namenode because hostname cannot be resolved)
大王的博客专栏
03-08 635
fawefwffffffffffffffffffff 肇庆
记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be
weixin_48445640的博客
02-28 587
使用docker快速开发了一个单节点的hadoop 首先去docker hub上搜索hadoop 使用hadoop3.1.3的TAG即可，分别拉去datanode和namenode的镜像到本地 官方提供了修改配置文件的方法： 拉取完成后分别执行如下命令： docker run -d \ --name hadoopmaster \ --hostname hadoopmaster \ -e CLUSTER_NAME=xxx \ #该镜像需要填写cluster_name才能创建 -e CORE_CONF
hadoop 源码解析-DataNode
06-06
Hadoop 源码解析 - DataNode Hadoop 作为一个大数据处理框架，其核心组件之一是分布式文件系统（HDFS），而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块，提供数据访问服务。本文将对 ...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
最新发布
12-17
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包，它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件，它是Hadoop在Windows上的一...
hadoop-2.7.4-with-windows.tar.gz
08-07
标题中的"hadoop-2.7.4-with-windows.tar.gz"是一个针对Windows操作系统的Hadoop发行版，版本号为2.7.4。这个压缩包采用了GNU tar格式，并进行了gzip压缩，这种格式通常在Linux和Unix系统中使用，但在Windows环境下...
hadoop3.3.0-winutils所有bin文件
02-27
安装完成后，可以通过bin目录下的脚本启动Hadoop服务，如NameNode、DataNode、ResourceManager和NodeManager等。 总结来说，Hadoop 3.3.0-winutils提供了在Windows上运行Hadoop所需的全部二进制工具，这对于开发者...
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
Hadoop datanode Datanode denied communication with namenode错误及解决
u010027484的博客
07-11 1169
hadoop datanode 无法启动（Datanode denied communication with namenode） 重启datanode，自动shutdown，查看日志发现有报错 2015-07-07 04:20:38,885 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc
Hadoop(03) Hadoop集群环境下DataNode无法连接NameNode问题
weixin_38735917的博客
10-05 849
datanode错误日志：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000
hadoop 不使用hostname，使用ip遇到的问题（Datanode denied communication with namenode because hostname cann）及解决方案
chanllen的专栏
04-12 7789
“Hadoop provides a mechanism to prevent unauthorized access. User can add hosts.deny and hosts.allow files to limit the access to a hadoop cluster. When a data node joins the name node, the name node
记录:hadoop 2.5.2 集群动态增加新datanode 无法通信的问题
12-03 288
1、拷贝NameNode上的hadoop home 目录到新的datanode（包括配置文件等）。 2、启动新的datanode hadoop-daemon.sh start datan...
如何解决Hadoop集群环境下DataNode无法连接NameNode问题
Bob Liu的程序人生
09-22 8530
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
修改hostname 后unable to resolve hostname
harryhare的专栏
01-09 476
1.修改hostname hostname [newhostname] vim /etc/hostname 2.修改host文件 vim /etc/hosts
Datanode denied communication with namenode: DatanodeRegistration 解决办法
tanggod的专栏
03-25 5500
安装环境: MacBook 10.9.1 Hadoop版本：2.2.0 单机伪同步环境。 启动start-dfs.sh后，发现本地没有datanode进程，查看datanode的日志如下： 2014-03-24 23:48:11,357 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-13161
如何解决The following assembly name can not be resolved automatically 提示
我爱Revit —— BIM应用及BIM应用软件解决方案专栏
11-28 4473
运行Revit的二次开发命令，当用AddinManager加载后 出现一个错误对话框，上面写着The following assembly name can not be resolved automatically。 类似如下：     需要按好多下Cancel或OK才能去掉这个提示，然后界面就能正常显示。 特别浪费时间，搞的心情也很糟！如何去掉这个呢？   分析： 从提示
hadoop-daemon.sh start namenode
09-09
hadoop-daemon.sh start namenode 的意思是启动 Hadoop 的 NameNode 守护进程。这个命令会在 Hadoop 集群中启动 NameNode，让它开始监听来自其他节点的请求，并管理 HDFS 中的文件系统元数据。在启动 NameNode 之前...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值