Hadoop datanode Datanode denied communication with namenode错误及解决

最新推荐文章于 2023-07-07 19:22:50 发布
最新推荐文章于 2023-07-07 19:22:50 发布
阅读量1.1k 收藏
点赞数
分类专栏： 最佳实践 Hadoop/HBase

hadoop datanode 无法启动（Datanode denied communication with namenode）

重启datanode，自动shutdown，查看日志发现有报错

2015-07-07 04:20:38,885 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode: EQX-164.he.vobile:50010

显示连接namenode被拒绝，查看namenode无异常，尝试重启hadoop dfs。

重启后问题更严重，所有datanode均报上述错误，推断是namenode哪里配置了访问限制。

终于在hdfs-site.xml & mapred-site.xml找到了dfs.hosts*相关的安全配置，将这些参数注释掉后，重启hadoop dfs，系统运行正常。

相关链接：http://blog.csdn.net/babydavic/article/details/8513303

ELEVENS
关注
专栏目录
hdfs增加新的datanode报错Datanode denied communication with namenode
frank_jyp的博客
08-20 560
2017-08-25 15:23:35,961 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-41444263-10.31.130.229-1494815561438 (Datanode Uuid 8d7dfef6-8510-4082-beef-a30e76622baa) service to j-ecs-o...
Datanode denied communication with namenode because the host is not in the include-list
qq_44874902的博客
01-19 1226
一、Hadoop新加一个数据节点DataNode hdfs --daemon start datanode 启动数据节点后NameNode发现没有新的数据节点注册 二、查看新数据节点日志内容如下： Datanode denied communication with namenode because the host is not in the include-list: DatanodeRegistration(192.168.1.105:9866, datanodeUuid=3f23a134-4134-
所以告诉我有关链表的信息
weixin_26751591的博客
09-17 332
Having recently graduated from a coding bootcamp, I’ve been deep into studying data structures and algorithms to better my fundamental knowledge. Linked lists are a relatively simple data structure, b...
Hadoop报错-Datanode denied communication with namenode because hostname cannot be resolved
Destiny的博客
02-14 5092
Issue 在伪分布模式下，DataNode的服务器无法启动 Answer 由于无法解析主机名，datanode拒绝与namenode通信 （1）重点检查/etc/hosts的配置文件是否配置正确，修改完reboot重启 hosts配置文件 （2）删除dfs.namenode.name.dir和dfs.datanode.data.dir目录的文件 （3）重新格式化NameNode，重新启...
hadoop 使用ip配置导致hdfs启动失败 Datanode denied communication with namenode
q975545015的博客
07-13 812
由于配置hadoop没有使用host+hostName的配置方式，导致了hadoop无法解析DataNode，对DataNode的注册失败。 解决方案：hdfs-site.xml中添加 property> name>dfs.namenode.datanode.registration.ip-hostname-checkname> value>falsevalue>
CDH集群下DataNode与NameNode通信失败问题——because the host is not in the include-list
weixin_42578941的博客
05-18 1426
CDH集群下DataNode与NameNode通信失败问题——because the host is not in the include-list
记录docker开发hadoop，解决bug Datanode denied communication with namenode because hostname cannot be
weixin_48445640的博客
02-28 621
使用docker快速开发了一个单节点的hadoop 首先去docker hub上搜索hadoop 使用hadoop3.1.3的TAG即可，分别拉去datanode和namenode的镜像到本地 官方提供了修改配置文件的方法： 拉取完成后分别执行如下命令： docker run -d \ --name hadoopmaster \ --hostname hadoopmaster \ -e CLUSTER_NAME=xxx \ #该镜像需要填写cluster_name才能创建 -e CORE_CONF
cm集群增加新datanode 无法通信，报错：Datanode denied communication with namenode because the host is not in the
心向，往之
11-28 2927
问题描述：在CM上添加一台Dataode主机后，启动datanode时，一直报下面的错误： “ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1251007601-10.162.3.171-1464682677169 (Datanode Uuid 88ab...
Hadoop 集群安装配置过程中 ，web 监控页面 datanode 节点不能成功显示 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
kekekeliang的博客
10-17 2022
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-117060438-192.168.xx.xx-1665735296906 (Datanode Uuid 51b77be5-c4d7-4fa3-b5ec-47596378be3f) service to master/192.168.10.11:9000 Datanode denied communication wit
Hdfs(NameNode&DataNode)和Hive迁移总结
Stay Foolish
05-30 4577
这篇文章介绍如何快速迁移hadoop和hive到新机器上，以及其中遇到问题的解决方案，顺便回顾一下部分相关环境配置的过程。
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
因此，所有Hadoop组件都将在本地机器上运行，这包括NameNode、DataNode、ResourceManager、NodeManager等。配置Hadoop时，确保`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等配置文件正确指向了修改后的目录...
How-to: Resolve "Datanode denied communication with namenode because hostname cannot be resolved (ip
lulynn的博客
07-02 8057
Error: org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode because hostname cannot be resolved (ip=172.31.34.70, h ostname=172.31.34.70):
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
【Hadoop|Datanode报错】ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: node01:50010:DataXceiver
最新发布
wei的博客
07-07 1084
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: node01:50010:DataXceiver error processing READ_BLOCK operation src: /172.18.44.148:37180 dst: /172.18.44.145:50010 java.io.IOException: Not ready to serve the block pool, BP-515668640-172.18.44.143-16
hadoop及组件问题记录
qq_15138049的博客
05-05 2010
hadoop 及其周边组件问题记录
彷徨 | [Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
彷徨的博客
07-24 7567
异常 namenode和data都正常启动 但是web页面却不显示,都为零 解决办法一: 在hdfs-site.xml配置文件中,加入 <property>  <name>dfs.namenode.datanode.registration.ip-hostname-check</name>  <value>false<...
【Bugs】hdaoop结点启动：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Bl
系'辞的博客
04-07 548
鸣谢——核心参考： 1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空 问题描述: 【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空 【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。 2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan
Hadoop分布式集群安装问题解决：linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决（实测有效）
qq_39124136的博客
10-28 3502
1.ssh配置完成后，scp 文件 到 Slave1:/usr/local/hadoop，结果出现Permission denied，出现这种情况是hadoop用户没有该目录的权限. 自己的解决办法： master: 进入移动文件的上一层目录中： 如：/usr/local/hadoop/hadoop-2.7.1(本人文件位置) cd /usr/local/hadoop sudo chmod 777...
大数据常见错误及解决方案
lv_hulk的博客
02-16 9412
大数据常见错误及解决方案（转载） 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=“127.0.0.1” to spark-env.sh 2、java Kafka producer error:ERROR kafka.util
优化Hadoop集群Datanode磁盘负载：balancer与预留策略
然而，单纯依赖NameNode（Namenode）的自动平衡功能可能不足以解决所有情况，因为Namenode在DataNode失败时才会尝试重新分配数据。关闭问题节点的DataNode可以暂时解决问题，但这并不是长期的解决方案。 针对Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值