HDFS-Failed to add storage directory

最新推荐文章于 2023-05-23 21:45:14 发布
最新推荐文章于 2023-05-23 21:45:14 发布
阅读量2.1k 收藏
点赞数 2
分类专栏： 大数据技术 文章标签： hdfs datanode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sin_geek/article/details/100888343
版权

背景

重启DN，报错

2019-09-16 10:30:21,724 WARN  common.Storage (DataStorage.java:loadDataStorage(449)) - Failed to add storage directory [DISK]file:/hadoop/hdfs/data/
java.io.IOException: Incompatible clusterIDs in /hadoop/hdfs/data: namenode clusterID = CID-94c242b1-d01f-4be6-b8ad-fc3b6036fb0b; datanode clusterID = CID-774a1f46-443d-4daa-845e-adabebe36d4d

原因

网上资料说是因为多次对namenode进行format导致的。

方案

1、将namenode和datanode的clusterID和namespaceID修改一致即可。
2、当然也可以通过直接删除数据节点DN下的current文件夹

Sin_Geek
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop的datanode无法启动
weixin_43088230的博客
07-29 679
lready been used. 2020-07-29 19:06:58,917 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory [DISK]file:/opt/data2/ has already been used. 2020-07-29 19:06:58,948 INFO org.apache.hadoop.hdfs.server.common.Storage: Analyzing storage direc.
Hadoop 中的datanode无法启动
fengtaosky的博客
08-16 495
问题描述： 2018-08-16 11:33:56,570 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hdfs/data/ java.io.IOException: Incompatible clusterIDs in /opt/hdfs...
Hadoop NameNode重新格式化 Failed to add storage directory [DISK]file
是个好男人的博客
03-07 3266
1.介绍 在NameNode重新格式化之前，需要删除DataNode上的数据和log日志。不然会造成NameNode和DataNode的clusterID不一致的问题。会有以下报错信息： Failed to add storage directory [DISK]file 2.重新格式化流程 （1）停止Hadoop服务 在NameNode上执行 需要已经配置好了环境变量 stop-all.sh （2）删除DataNode上的数据和log日志 查看hdfs-site.xml中的..
Hadoop 集群 | common.Storage: Failed to add storage directory [DISK]file:/usr/local/hadoop-2.10.0/data
qq_41497111的博客
12-13 2764
问题 多次进行hdfs namenode -format 导致hadoop/dfs/data/current/VERSION 不一致。 启动hadoop 集群，发现只有主节点及SecondaryNameNode启动，datanode均为启动。 2019-12-13 14:33:31,532 INFO org.apache.hadoop.ipc.CallQueueManager:...
DataNode启动报错Failed to add storage directory [DISK]file:【已解决】
Danger
05-23 1119
Lock on /home/software/hadoop/hadoop-2.7.7/dfs/data/in_use.lock acquired by nodename 17941@iZa3y01l4cd5oebwfuvt8qZ 2023-05-23 19:20:50,040 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/software/hadoop/h
hdfs-over-ftp安装包及说明
12-08
【标题】"hdfs-over-ftp安装包及说明"涉及的核心技术是将FTP（File Transfer Protocol）服务与HDFS（Hadoop Distributed File System）相结合，允许用户通过FTP协议访问和操作HDFS上的数据。这个标题暗示了我们将在...
hdfs-site.xml配置文件详解
10-22
hdfs-site.xml配置文件详解，有需要的可以下载哈哈哈哈哈
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
HDFS配置文件hdfs-site
05-31
HDFS测试环境配置文件，稳定运行无异常，分享给大家学习参考用；
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩...
记录踩过的坑-Hadoop
天边一坨浮云
04-02 2369
目录 Hadoop 解压".tar"文件出错，提示：无法创建符号链接 Error: JAVA_HOME is incorrectly set Could not locate executablenull\bin\winutils.exe in the Hadoop binaries java.lang.UnsatisfiedLinkError localhost:50070/访问失败 HDFS-Failed to add storage directory Windows配置文件 h..
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
再次折腾－启动hadoop时遇到问题
wqhlmark64的博客
07-13 1372
期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次，遇到各种莫名其妙问题，好事多磨，也算是对先前没遇到问题的一个补充。 １.　namenode 9000端口被占导致namenode startup failed        这段本地调试其它程序时启动过xdebug，它的默认端口就是9000,　netstat
org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registere
weixin_39789340的博客
03-24 2375
启动hadoop 集群，发现datanode没有启动，查看日志报错，如图： // 日志文件 2020-03-24 16:40:55,608 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/module/hadoop-2.8.4/data/tmp/df...
Hadoop常见报错解答
dongweizu33的专栏
10-25 1236
1、启动Hadoop后发现datanode没有启动，报如下错误： WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/hadoop-2.7.3/hdfs/data/ java.io.IOException: Incompatible c
hadoop集群安装常见问题
u010988585的专栏
12-07 3882
1、Failed to start namenode. 重新格式化hadoop 查看logs日志 hdfs namenode –format ormatting using clusterid: CID-dd578a63-1547-43fb-a4c4-4d058a9ab002 2021-12-06 18:43:13,572 ERROR namenode.NameNode: Failed to start namenode. java.lang.NullPointerExcepti..
DataNode增加数据目录进行扩容以及UUID不一致问题
Ntozot的博客
11-15 2090
DataNode增加数据目录进行扩容以及UUID不一致问题 DataNode扩容DataNode增加数据目录进行扩容以及UUID不一致问题增加DataNode数据目录进行扩容重启UUID不一致问题 增加DataNode数据目录进行扩容 HDFS在使用过程中，随着使用时间的不断增长，存储的数据越来越多，可能会出现磁盘容量不够的情况，这时候可以进行扩容，增加DataNode的数据目录。笔者使用的是CD...
hadoop及组件问题记录
qq_15138049的博客
05-05 1892
hadoop 及其周边组件问题记录
HDFS-shell
最新发布
12-15
HDFS-shell是一种用于操作Hadoop分布式文件系统（HDFS）的命令行工具。通过HDFS-shell，用户可以在命令行中执行各种文件和目录操作，如创建、删除、移动、上传和下载文件等。以下是HDFS-shell的一些常用命令： 1. 查看HDFS-shell的所有命令： ```shell hadoop fs ``` 2. 创建目录： ```shell hadoop fs -mkdir /path/to/directory ``` 3. 查看目录内容： ```shell hadoop fs -ls /path/to/directory ``` 4. 上传本地文件到HDFS： ```shell hadoop fs -put /path/to/local/file /path/to/hdfs/directory ``` 5. 下载HDFS文件到本地： ```shell hadoop fs -get /path/to/hdfs/file /path/to/local/directory ``` 6. 删除HDFS文件： ```shell hadoop fs -rm /path/to/hdfs/file ``` 7. 删除HDFS目录： ```shell hadoop fs -rm -r /path/to/hdfs/directory ``` 8. 移动文件或目录： ```shell hadoop fs -mv /path/to/source /path/to/destination ``` 9. 查看文件内容： ```shell hadoop fs -cat /path/to/hdfs/file ``` 以上是HDFS-shell的一些常用命令，你可以根据自己的需求进行使用。如果你想了解更多关于HDFS-shell的命令和用法，可以参考Hadoop官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值