hadoop 没有datanode解决方法

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量1.5w 收藏 41
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChunKitAu/article/details/102458259
版权

Hadoop 启动后使用JPS查看没有DataNode
在伪分布式运行hadoop，发现DataNode没有启动：

在这里插入图片描述
一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。

解决:
打开log:
在这里插入图片描述

在log中找到:

在这里插入图片描述

找到data目录:
在这里插入图片描述
在这个目录下，有一个VERSION文件。将VERSION中的clusterID改成上面复制的ID。

在这里插入图片描述
在这里插入图片描述

重启服务:
dataNode 出现
在这里插入图片描述

ChunKitAu
关注
  • 8
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3742
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2689
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
启动 Hadoop 后没有 dataNode 进程
在人间负债^
11-22 3311
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
hadoop启动后，没有datanode怎么办
qq_34268459的博客
06-21 6675
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行格式化，重启集群，错误消失。方法二： 将name/current下的VERSION中的clusterI...
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 553
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
linux上配置hadoop没有出现datanode，datanode，SecondaryNameNode的解决方法
qq_41416254的博客
04-20 1690
在网上查阅了许多教程都没用什么，比如清空name和data里面的文件之类的，然并卵 后来看了下logs 里面报错为 将错误在网上搜索总算找到解决办法，原来是我的/etc/hosts文件没有配置主机映射，vi /etc/hosts后加上linux的ip地址和主机名即可 解决这类问题不要直接通过结果搜索，这样会如同大海捞针，毕竟出现相同错误也有很多种原因，一定要先看日志找到第一个异常对症下药，就迎刃而...
关于hadoop多次格式化之后，无法查看date文件
qq_69722036的博客
10-06 375
一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的NameNode的ID，因此就会造成NataNode与NameNode之间的id不一致。
尚硅谷hadoop3.x 31集 为什么配置集群时，没有data文档，但有logs文档呢？
m0_61853107的博客
08-22 407
hadoop102/opt/module/hadoop-3.1.3/data
HADOOP 启动后没有datanode解决办法（适用于所有节点datanode）
FBFBSDF的博客
09-21 2718
hadoop集群datanode无法启动
hadoop启动后jps没有datanode
m0_56731259的博客
03-12 8648
Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop，发现DataNode没有启动： 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 发现错误之后在hadoop所在位置中找到logs路径： 找到datanode日志文件打开。 找到错误的地方 复制namenode clusterID。 找到配置文件core-site.xml 找到data目录
Hadoop集群切换伪分布式时Master上jps没有Datanode解决方法
weixin_55501516的博客
11-01 2571
问题：Hadoop的五个分布式环境文件都修改好了，但在Master节点上jps的时候不出现datanode，格式化namenode ：hadoop namenode -format 也没有效果。 分析：在之前配置分布式环境文件的时候产生过一个hadoop/tmp 日志文件，需要删除 解决方法：关掉Hadoop进程：stop-dfs.sh 或关闭所有进程 stop-all.sh ,进入hadoop安装路径把整个tmp文件夹删掉：rm -rf /usr/local/hadoop/tmp，新建一个tmp文件夹
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
hadoop常见问题及解决方法
12-23
hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具，但是在安装和使用Hadoop时，可能会出现一些常见的问题，这些问题可能会导致Hadoop无法正常工作，或者无法达到预期的性能。下面是Hadoop常见的问题及解决...
Hadoop使用常见问题以及解决方法
08-21
"Hadoop 使用常见问题以及解决方法" Hadoop 作为一个大数据处理的开源框架，广泛应用于数据存储、处理和分析等领域。但是在使用 Hadoop 时，经常会遇到一些常见的问题，本文将对这些问题进行总结和解决。 Shuffle ...
hadoop启动后jps进程没有Datanode进程的解决方法_jps没有datanode进程
2401_84167086的博客
04-17 599
2：我认为最有效的解决方法就是将虚拟机hadoop01，hadoop02，hadoop03的hadoop目录下的data文件rm -rf data删除，感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！2：可能是由于多次输入hdfs namenode -format格式化的原因，使其Datanode被覆盖了。1：重新一步一步检查配置文件，缺一不可，配置好后重新发布给其他两台虚拟机，再进行格式化。再重新发布给其他两台，格式化。
【大数据分析与应用】Hadoop: 启动后发现没有DataNode
zombotany的博客
10-16 2338
DataNode的ClusterID与NameNode的ClusterID不完全一致。
Ubuntu 14.04下hadoop 2.2.0 伪分布环境配置datanode不能启动的解决办法
lkdlmu的博客
07-15 1040
第一次写博客，就当给自己做个笔记了。 毕业论文要用到hadoop，所以在自己笔记本上搭建一个伪分布式环境。 配置的方法网上很多，这里就不写了。注意要把防火墙关掉：sudo ufw disable。 配置完成后，格式化namenode，然后启动hdfs和yarn。 通过jps查看hadoop进程，发现唯独少了datanode的进程，所以运行测试例子的时候报错：could only be
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
hadoop没有datanode节点
03-16
如果Hadoop没有Datanode节点，那么可能是以下原因之一： 1. 没有正确配置Hadoop集群：在配置Hadoop集群时，必须确保所有节点都正确配置，并且Datanode节点已经启动。 2. Datanode节点出现故障：如果Datanode节点出现故障，可能会导致它无法正常工作，从而导致Hadoop没有Datanode节点。 3. 网络问题：如果网络出现问题，可能会导致Datanode节点无法与其他节点通信，从而导致Hadoop没有Datanode节点。 如果您遇到了这个问题，可以尝试检查以上原因，并采取相应的措施来解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值