hadoop集群启动之后，datanode进程未启动解决办法

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量3.4k 收藏 16
点赞数 7
分类专栏： BigData 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40309183/article/details/81603849
版权

这种情况一般是由于自己进行hadoop格式化的时候没有事先结束所有进程，或者在开启一次hadoop集群，发现配置不对，这时重新 hadoop namenode -format  就会出问题

因为此时你format之后， datanode的clusterID 和 namenode的clusterID 就不匹配了

不匹配别人就不给你开启datanode。

处理方法就是：首先找到clusterID存储的文件夹

先找到namenode对于的clusterID 

在$hadoop_home/tmp/dfs/name/current/ 下面

vi VERSION 

复制 clusterID

再进入在 $hadoop_home/tmp/dfs/data/current/ 下面

然后 vi VERSION

把刚才复制的clusterID粘贴并覆盖本来有的clusterID

保存 

ok  

Called_Kingsley
关注
  • 7
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
hadoop集群中datanode启动不了
InsectsAwaken_的博客
04-15 904
主要 可能的原因： DataNode和clusterID和NameNode的clusterID不匹配 格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。（目前我只删除了data数据就可以正常工作） 查看两个ID的命令： [atgui...
Hadoop集群namenode或者datanode进程没有启动
weixin_46253962的博客
07-17 287
1.先停止所有的进程 stop-all.sh 2.查看core-site.xml 3.切换到配置文件的路径 cd /usr/local/hadoop 删除logs文件夹以及清空tmp文件夹 rm -rf logs rm -rf tmp/* 这一步操作集群中的每台机器都需要进行 4.格式化namenode hdfs namenode -format 5.启动Hadoop集群 start-all.sh ...
hadoop报错：Hadoop启动时，没有启动datanode
five小点心的博客
02-06 5259
hadoop启动时没有DataNode节点
Hadoop集群启动从节点没有DataNode
m0_61232019的博客
03-03 7364
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 665
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8819
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
hadoop集群启动后datanode没有启动
m0_51697147的博客
11-20 6638
解决方法： 第一步：关掉所有启动的集群 在hadoop3.1.3目录下，输入命令sbin/stop-all.sh 第二步：删除每个集群中datanode存放路径的数据,data 和logs 输入命令：rm -rf data/ logs/ 第三步：重新格式化 输入命令：hadoop namenode -format 第四步：启动集群 在hadoop3.1.3目录下，输入命令sbin/start-all.sh 第五步：查看进程 输入命令：jps
hadoop集群启动之后dataNode节点没有启动
qq_20124743的博客
11-29 1万+
启动Hadoop集群之后slave机器的dataNode节点没有启动 master机器的nameNode节点启动了 1、在集群/usr/local/src/hadoop/bin目录下./start-all.sh暂停所有服务 2、将/usr/local/src/hadoop/目录下的 logs、tmp文件夹删除(DataNode存放数据块的位置) 然后重新建立tmp  logs文件夹 3、重新
hadoop集群基本进程
01-07
QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumPeer， 谷歌翻译quorum是法定人数，定额的意思， peer是对等的意思，那么QuorumPee
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
第6章-Hadoop HA集群启动.pdf
05-19
【Hadoop HA 集群启动详解】 Hadoop 高可用性（High Availability, HA）是确保关键服务如 NameNode 和 ResourceManager 不会因为单点故障而中断的关键特性。本章节将详细阐述如何启动一个配置了 HA 的 Hadoop 集群...
Hadoop集群部署研究.docx
01-04
2.2.3 HDFS 初始化与启动集群配置完成后，格式化 NameNode（hdfs namenode -format），启动 Hadoop 集群，包括 NameNode、DataNode、ResourceManager、NodeManager 等服务。可以通过命令行检查 Hadoop 进程是否正常...
hadoop集群搭建文档资料
11-15
2. **Hadoop集群架构**：Hadoop集群通常包含一个NameNode（主节点），多个DataNode（数据节点）和一个Secondary NameNode（辅助NameNode）。NameNode负责元数据管理，DataNode存储实际数据，而Secondary NameNode...
hadoop启动集群后，没有datanode进程
kerry_55的博客
05-07 3689
jps没有DataNode,解决方法：1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程，如果有，kill -9 进程id2、rm -rf /data3、重新格式化 hdfs namenode -format4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh5、查看是否有DataNode，jps...
Hadoop集群无法启动datanode的解决方法
随风漂浪的博客
08-07 2690
之前在hadoop在一起重启之后就不能看到datanode的启动，其中logs的日志显示： 2017-07-15 10:30:09,496 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock fro
Hadoop中DataNode没有启动解决办法
optics's blog
11-22 2万+
查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下2017-11-22 13:51:17,114 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/grid/hadoop-2.7.2/dfs/data: na
Hadoop集群所有或者部分的DataNode启动不了的解决方案
yilongchuan的博客
06-11 3854
原因可能是多次Hadoop namenode -format导致clusterID不一致，具体可以在失败的.log文件中看到两个clusterID不一致，在这就先说具体解决方法（1）先去hadoop路径下的配置文件hdfs-site.xml可知dfs.namenode.name.dir的地址和dfs.datanode.data.dir的地址<!--hdfs的元数据存储位置--><...
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
hadoop集群启动后，发现所有进程都在，唯独没有master节点的namenode进程
Kingsley's Blog
08-12 5025
这个时候，去logs/目录下查看日志 cat hadoop-had_user-namenode-master.log 得到结果： java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 18 查了一下，说是namenode元数据损坏 然后就stop-...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值