hdfs 集群启动发现没有datanode

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量2.3k 收藏
点赞数 1
分类专栏： hadoop 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38374023/article/details/79542759
版权

datnode日志报：Incompatible clusterIDs in /datab/hdfs/data: namenode clusterID = CID-a772b6……

解决办法：1）清理tmp 目录，（hadoop.tmp.dir对应的值）

                     2） 清理data 目录 （dfs.data.dir对应的值）

                     3）清理 namenode目录（dfs.name.dir对应的值）

                     4）format namenode （$HADOOP_HOME/bin/hdfs namenode -format）

溪云阁主
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop配置启动时jps没有namenode和secondaryname，，网上方法都试过了没有用
youhen921124的博客
03-20 1797
参考守护进程布局-->参考守护进程布局-->-- 指定 namenode 的 hdfs 协议文件系统的通信地址 -->--配置resourcemanager的scheduler的内部通讯地址-->--配置resourcemanager的web ui 的监控页面-->--配置resourcemanager的管理员的内部通讯地址-->--配置resoucemanager的资源调度的内部通讯地址-->--配置resourcemanager的内部通讯地址-->-- 指定resourcemanager的主机名-->
hadoop secondary namenode 部署出错所产生的错误及解决方法
chlaws的专栏
11-17 1万+
只叙述secondary namenode部署出错所产生的错误及解决方法 环境：suse 10.1 namenode 单独部署在cloud1 secondary namenode 单独部署在 cloud3 集群部署完成后使用Jps查看进程,发现该有的进程都有,hdfs也能上传下载文件  查看secondary name 上的log,发现在doCheckpoint都失败 20
启动hdfs的时候某个datanode节点启动不成功
qq_40202995的博客
06-30 332
1、现象 在启动hdfs的时候，某个节点的datanode始终起步成功，jps看不到datanode进程 2、排查问题 经过查看该节点的log日志： 是namenode的version文件的clusterid和datanode不一致导致的，所以应该把该节点的version文件的clusterid改成和主节点一致 3、问题解决 4、拓展-原因 NameNode保存元数据的！ DataNode保存真实数据的！ 一个文件不管上传还是下载，必须访问NN，先获取NN中相关的元数据！
【大数据分析与应用】Hadoop: 启动后发现没有DataNode
zombotany的博客
10-16 2350
DataNode的ClusterID与NameNode的ClusterID不完全一致。
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 635
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
启动hadoop集群全部服务时没有datanode服务
APguantou的博客
04-04 1757
我在安装时将hadoop安装在 /software/hadoop/hadoopducument/ 下 ，并将安装包改名为HADOOP。如图所示，开启时datanode可以正常开启，其它服务都正常，唯独没有datanode，关闭时显示。今天在启动hadoop集群时，开启全部服务后，用jps检测，发现没有datanode服务。1.编辑hadoop目录下的/etc/hadoop/core-site.xml。2.切换至上述查找到的路径中,并查看该目录下的内容。可能的原因是hadoop主节点格式化次数过多。
【HDFS篇10】DataNode相关概念1
08-04
配置新节点时，要更新IP地址和主机名，清空原有HDFS数据和日志，然后启动DataNode和NodeManager服务。 **退役旧数据节点** 退役DataNode有两种方式：白名单和黑名单。在白名单策略中，只列出允许连接的节点，不在...
12_尚硅谷大数据之HDFS_DataNode1
08-03
4. 初始化新DataNode，执行格式化操作（如果之前未格式化过），并启动DataNode服务。 5. 更新NameNode上的`dfs.hosts`文件，包含新添加的DataNode信息，确保NameNode可以识别并管理新的节点。 通过以上步骤，新...
Hadoop2.7.2LIUNX集群(5)集群hdfs-over-ftp重构2.7.2，直接使用
07-18
6. **启动Hadoop服务**：启动NameNode、DataNode、ResourceManager、NodeManager等服务，确保集群正常运行。 接下来，我们将重点关注HDFS-over-FTP的重构。HDFS-over-FTP使得用户可以通过FTP协议上传和下载HDFS中的...
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode...如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。 4）集群运行中可以安全加入和退出一些机器 数据完整性
【HDFS篇02】HDFS命令行操作1
08-04
使用`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN（Yet Another Resource Negotiator），这两个脚本是Hadoop集群运行的基础。 2. **帮助命令**： `help`命令用于输出具体命令的参数信息，例如`hadoop fs -...
群起集群 DataNode 没有启动的解决方法
weixin_45942827的博客
07-08 2469
群起集群 DataNode 没有启动的解决方法
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2711
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
hadoop起动后没有datanode的问题
GXU-数据与无线网络实验室-杨宁
10-06 3014
查看日志后发现：java.io.IOException: Incompatible clusterIDs in /home/storm/hadoop/dfs/data: namenode clusterID = CID-bee17bb7-308b-4e4d-b059-3c73519a9d0e; datanode clusterID = CID-7fca37f0-a600-4e89-a012-aec2
HDFS的dataNode节点启动不起来
yjh314的专栏
01-12 2639
我把HDFS文件系统里的文件目录全部删掉后，在重新启动hadoop， dataNode节点启动不起来 之后重新删除hadoop的缓存文件，在格式化重启解决，操作如下： rm -rf /home/hadoop/hd_space/hdfs/data/* rm -rf /home/hadoop/hd_space/hdfs/name/* rm -rf /home/hadoop/hd_space/map
Hadoop中启动hdfs时DataNode没有启动
caoyang0105的博客
09-15 6249
我是刚开始学习Hadoop，这个问题困扰了我一个多小时，为了以后少犯这种错误，也为了别人能少走歪路，我记录下来我的解决方法，可能不是最快捷的，但是这是我摸索出来的。 hdfs启动成功是这样子的 但是，没有启动成功hdfs是这样的 具体的解决方法： 1.   ./hdfs namenode -format 格式化重新启动Hadoop 2. 查看namenode和DataNo
Hadoop的HDFS中namenode和datenode内容分析
llc1984513的博客
01-09 1万+
NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。 DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块bloc
踩坑：再次格式化hdfs就jps命令显示DataNode未启动
japson的专栏
05-31 1613
踩坑：再次格式化hdfs就jps命令显示DataNode未启动 标签（空格分隔）： 踩坑 修改了hadoop的core.site.xml后，我自以为是地重新格式化了一下hdfs:hdfs namenode -format忘记了不能再次格式化的忠告！ 结果就出现了jps中显示DataNode没启动的问题 出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了...
hadoop集群启动没有datanode
03-16
如果Hadoop集群启动时没有DataNode，可能是由于以下原因： 1. DataNode服务未启动：请确保DataNode服务已经启动。可以通过运行jps命令来检查DataNode进程是否正在运行。 2. 配置文件错误：请检查hdfs-site.xml配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值