hadoop datanode 连接namenode的问题

最新推荐文章于 2020-10-02 21:21:04 发布
最新推荐文章于 2020-10-02 21:21:04 发布
阅读量2k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongweijiao/article/details/7619445
版权

如果各项进程 都已经启动，

检查namenode端口启动    netstat  -anp | grep 9000

如果9000端口启动在127开头的host之上，那么修改hosts文件，在本机IP地址之后添加主机名称，像127.0.1.1对应了主机名称的都应该删除掉，

 127.0.1.1 ubuntu 是为了 hostname 反查，必须去除。

如果不是该问题，再检查datanode的各个端口启动情况。

下面这篇hadoop安装攻略不错，可以看一下：http://chhaj5236.blog.163.com/blog/static/11288108120122612228601/

天竹子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop DataNode 无法连接到主机NameNode
我爱小小
06-03 5586
搭建hadoop 完全分布式，踩过的坑；其中一个坑，就是slave节点，不能够连接到master； 第一个：提示无法注册到master 主机： 查看DataNode 可知是不是这个问题；在查看日志的时候，发现是知道master IP；端口和IP都是对的；就一直没往配置主机的方面想；结果发现错在配置； 这个问题是在配置文件 core-site.xml: fs.
hadoop中hadoop Live Nodes :0，datanode无法连接上namenode
昆兰.沃斯 的博客
01-10 1745
很难受，真的很难受，近一个星期没有睡好觉了，就因为这个问题。用了两天找错误，终于找到了错误。 用了四天来该错误，每一天都是煎熬，锻炼了自己的毅力（值得安慰一下）。由于网上基本上找不到这个错误， 所以才搞了这么久，这篇博客两个意义 其一：自己做笔记，记录错误心得，以及解决问题的思路。 其二：分享一下，帮助其他遇到困难的朋友，少走弯路啊！！！！！！ 正文如下： start-dfs.sh开启
部署hadoop后，datanode无法连接namenode
种德养心
09-07 3057
参照网上方法部署完Hadoop，namenode和datanode都起来了，但是master的50070端口无法访问，查看datanode，发现连接不上namenode 网上很多方法都试过了，包括关闭防火墙，重新配置hdfs-site.xml、core-site.xml，重新format，一通折腾，还是不行 最后，发现原来是动态防火墙未关导致的 systemctl statusfir
已经开启了namenode与datanode 但连接50070端口无反应 解决办法！
baochuan9177的博客
09-26 1087
防火墙未关闭！！ 输入service iptables stop（暂时关闭防火墙命令） ||也可永久关闭：chkconfig iptables off 再去网页上输入：192.168.xxx.xxx:50070即进入该网页！（尽量使用谷歌浏览器！） 转载于:https://www.cnblogs.com/Mark-blog/p/11589714.html...
hadoop 9000端口不通判断
小小怪下士
08-29 1万+
hadoop搭建完毕后，9000端口不能正常访问，namenode上telnet自己的9000端口居然不通，namenode不能正常搭载datanode。   看端口nestata -ano 发现9000端口是用的ipv6的格式，关闭ipv6格式，重启机器，搞定。   下面是datanode到namenode不通的log 2013-08-28 17:51:31,202 INFO or
Hadoop datanode重新加载失败无法启动解决.docx
09-26
（3）将datanode与namenode的/current下的VERSION等相应文件文件清除后，回到namenode上，执行hdfs namenode -format命令，并切换到namenode的hadoop的/sbin目录下，执行sh start-dfs.sh和sh start-yarn.sh命令。...
Hadoop之NameNode Federation图文详解
08-26
Hadoop的NameNode Federation是HDFS（Hadoop Distributed File System）中的一种架构设计，旨在解决NameNode的扩展性、隔离性和性能问题。本篇文章将对NameNode Federation的架构设计、实现原理和优点进行详细介绍。...
hadoop2.0 2个namenode 2个datanode 部署
01-16
Hadoop 2.0 双 Namenode 双 Datanode 部署 Hadoop 是一个开源的大数据处理框架，它提供了分布式文件系统（HDFS）和Map/Reduce 计算框架。 在这个部署中，我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 ...
hadoop client与datanode的通信协议分析
09-05
dataStreamer线程会检查dataQueue，一旦发现Package，就会创建BlockOutputStream对象，并与指定的DataNode建立连接，发送DATA_TRANSFER_HEADER信息以获取响应。同时，它还会启动一个ResponseProcessor线程，用于接收...
hadoop常见问题及解决办法
07-06
问题描述：Hadoop Namenode处于安全模式。 解决办法：该问题是由于Namenode处于安全模式所致。解决办法是检查Namenode的日志文件，确定问题所在，然后采取相应的解决措施。 Hadoop常见问题的解决办法是多方面的，...
hadoop中master能够启动datanode，但是datanode无法连接namenode 报 17/11/16 03:49:13 WARN ipc.Client: Failed to conn
chenjiale0102的博客
11-16 1331
hadoop中master能够启动datanode，但是datanode无法连接namenode 报 17/11/16 03:49:13 WARN ipc.Client: Failed to conn
datanode节点名称是localhost的问题解决
JacksonKing的专栏
12-12 3175
一、问题背景 今天过来发现预生产的hadoop集群全挂了，后来才知道昨晚运维把集群停机换内存，真心***，把集群机器恢复过程中，将机器的datanode启动后，在namenode的webui列表里发现该机器的节点名称怎么是localhost，截图如下： 二、问题现象 如上所示，节点的名称本该是datanode**的主机名，变成localhost 看了下主机名确实是换了，以为是运维主机名...
如何解决Hadoop集群环境下DataNode无法连接NameNode问题
Bob Liu的程序人生
09-22 8466
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
datanode无法连接namenode问题解决
qq_39122919的博客
11-17 3751
作为一个hadoop的初学者，hd最近在一直在踩坑，好不容易把网络配置好了，结果在datanode连接中又挂了 hdfs-site.xml的配置为 core-site.xml的配置为 丛机（hdp-02）启动jps后 发现在/usr./lHadoop/hadoop-2.8.3/hdpdata/data文件夹下没有生成current文件夹 再看一下log文件，发现无法连接到name...
datanode无法连接到namenode
aoli2193的博客
08-24 810
datanode无法连接到namenode namenode在清空hadoop.tmp.dir和namenode.dir文件夹重新格式化后，datanode还是无法连接到namenode并报错： hdfs.server.datanode.DataNode: Problem connecting to server: ligfoo/192.168.80.11:9000 datanod...
DataNode连接错误Retrying connect to server
热门推荐
沉潜飞动
10-15 2万+
在Hadoop分布式模式部署完成后，通过start-dfs.sh启动NameNode、DataNode、SecondaryNameNode，在master节点通过jps命令查看，看到NameNode、SecondaryNameNode已启动，在slave节点通过jps命令查看，DataNode也已经启动。（此时颇为欣喜，首次完全分布式部署即成功，但是。。。） 1 发现问题   准备好WordC
hadoop集群之dataNode连接nameNode失败
aai00180的博客
04-21 514
最近在练习hadoop集群部署遇到了一些问题 　　一： 在启动hadoop后发现dataNode闪退 　　　　　通过查看部署 dataNode 节点的log文件，提示是应为在启动过 dataNode 后再次启动前又执行过 格式化（hdfs nameNode -format）命令 　　　　　因为之前启动时生成的 tmp 下的data文件与格式化后的 文件冲突造成的 namenod...
Hadoop中的Namenode、Datanode和Secondary Namenode
很吵请安静
01-14 4822
1.namenode Namenode 管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)，比如命名空间信息，块信息等。管理这些信息的文件有两个，分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)，这些信息被Cache在RAM中，当然，这两个文件也会
虚拟机节点启动异常的解决方法
qq_43646876的博客
10-02 2949
有些时候我们在使用命令 ./start-dfs.sh ./start-yarn.sh 之后，再使用jps命令，会发现缺少很多进程 对于这种情况，一般有下面几个原因，我在下面做了归纳 一，未使用root账户 对hadoop集群服务的操作需要权限，如果 没有使用root(或者hadoop账户)，请更换用户后再进行操作 二，未初始化namenode 要启动Namenode首先需要对他进行初始化，想想自己之前有没有输入指令hdfs namenode -format，如果没有，先输入指令./stop-dfs.sh和
解决Hadoop集群丢失Namenode或Datanode问题
最新发布
06-08
当Hadoop集群中的Namenode或Datanode出现故障时，可以采取以下步骤进行解决： 1. 关闭故障节点：对于出现问题的节点，可以先将其关闭。 2. 恢复数据备份：如果有备份数据，可以进行数据恢复操作，将备份数据恢复到其他节点上。 3. 启动新的节点：可以在其他机器上启动新的节点，然后将故障节点的数据复制到新的节点上。 4. 恢复集群：当新的节点启动后，需要在Hadoop集群中重新配置节点，包括添加新节点、删除故障节点等操作。 5. 测试：完成节点恢复后，需要对集群进行测试，以确认集群是否正常工作。 以上是解决Hadoop集群丢失Namenode或Datanode问题的一般步骤，具体操作需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值