Hadoop常见报错解答

最新推荐文章于 2023-05-23 21:45:14 发布
最新推荐文章于 2023-05-23 21:45:14 发布
阅读量1.2k 收藏 1
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongweizu33/article/details/78343672
版权

1、启动Hadoop后发现datanode没有启动，报如下错误：

WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/hadoop-2.7.3/hdfs/data/
java.io.IOException: Incompatible clusterIDs in /opt/hadoop/hadoop-2.7.3/hdfs/data: namenode clusterID = CID-fdc65d4a-e307-489b-acd2-dd1cd8906794; datanode clusterID = CID-254be5a5-9e38-42d6-ae59-cfeb58d258bd

应该是由于多次格式化命令所致（/opt/hadoop/hadoop-2.7.3/bin/hdfs namenode -format）

解决方法：

停止Hadoop服务，删除/opt/hadoop/hadoop-2.7.3/hdfs/data/下的所有文件，然后重新格式化，再启动就好了



给我枝烟
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
再次折腾－启动hadoop时遇到问题
wqhlmark64的博客
07-13 1380
期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次，遇到各种莫名其妙问题，好事多磨，也算是对先前没遇到问题的一个补充。 １.　namenode 9000端口被占导致namenode startup failed        这段本地调试其它程序时启动过xdebug，它的默认端口就是9000,　netstat
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
Hadoop 集群 | common.Storage: Failed to add storage directory [DISK]file:/usr/local/hadoop-2.10.0/data
qq_41497111的博客
12-13 2808
问题 多次进行hdfs namenode -format 导致hadoop/dfs/data/current/VERSION 不一致。 启动hadoop 集群，发现只有主节点及SecondaryNameNode启动，datanode均为启动。 2019-12-13 14:33:31,532 INFO org.apache.hadoop.ipc.CallQueueManager:...
org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registere
weixin_39789340的博客
03-24 2400
启动hadoop 集群，发现datanode没有启动，查看日志报错，如图： // 日志文件 2020-03-24 16:40:55,608 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/module/hadoop-2.8.4/data/tmp/df...
DataNode启动报错Failed to add storage directory [DISK]file:【已解决】
Danger
05-23 1181
Lock on /home/software/hadoop/hadoop-2.7.7/dfs/data/in_use.lock acquired by nodename 17941@iZa3y01l4cd5oebwfuvt8qZ 2023-05-23 19:20:50,040 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/software/hadoop/h
大数据运维：datanode启动后挂了Initialization failed for Block pool ＜registering＞
涤生大数据
11-08 6233
1.案发现场还原 datanode节点因为坏盘，机器卡死掉线，datanode退役。把坏盘目录去掉后，重启datanode后出现一会dn自动挂掉的情况。 查看日志报错如下: 1月 8, 上午10点26:12.689 WARN org.apache.hadoop.hdfs.server.common.Storage Failed to analyze storage directories for block pool BP-465426754-10.5.32.151-1456251...
Logstash6整合Hadoop-报错与解决方案.docx
10-26
Logstash6整合Hadoop报错与解决方案 Logstash是 Elastic Stack 中的数据处理引擎，可以从多种数据源中提取数据，并对其进行处理和转换，然后将其输出到多种目标中，例如 Elasticsearch、Kafka、Hadoop 等。在大...
mac hadoop报错native 需要的包
最新发布
10-10
在Mac系统上使用Hadoop时，可能会遇到一个常见的问题，即“Unable to load native-hadoop library”。这个错误信息表明Hadoop在尝试加载本地库（native library）时失败，通常是由于缺少必要的依赖或配置不当导致的...
hadoop常见错误以及处理方法详解
10-27
本篇文章是对hadoop常见错误以及处理方法进行了详细的分析介绍，需要的朋友参考下
hive on tez 常见报错问题收集
01-26
以上就是针对Hive on Tez常见报错的分析及解决方案。在实际操作中，应根据具体环境和需求调整相关配置，确保Hive作业的稳定性和效率。同时，对于复杂的查询场景，理解Hive和Tez的工作原理以及它们之间的交互至关重要...
hadoop集群安装常见问题
u010988585的专栏
12-07 3948
1、Failed to start namenode. 重新格式化hadoop 查看logs日志 hdfs namenode –format ormatting using clusterid: CID-dd578a63-1547-43fb-a4c4-4d058a9ab002 2021-12-06 18:43:13,572 ERROR namenode.NameNode: Failed to start namenode. java.lang.NullPointerExcepti..
hadoop常见错误及解决
fantasydreams的专栏
06-15 5514
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-site.xml 问题原因： 1) 不合规范的URI格式
hadoop 其中一个datanode 启动失败： Structure needs cleaning 文件夹损坏
qq_37670707的博客
02-25 3092
2019-02-25 10:04:29,090 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl: Caught exception while scanning /home/warehouse/hadoop-2.7.1/tmp/dfs/data/current. Will throw later. E...
HDFS-Failed to add storage directory
Sin_Geek成长の迹
09-16 2210
背景 重启DN，报错 2019-09-16 10:30:21,724 WARN common.Storage (DataStorage.java:loadDataStorage(449)) - Failed to add storage directory [DISK]file:/hadoop/hdfs/data/ java.io.IOException: Incompatible cluste...
Hadoop DataNode启动失败
dacoolbaby的专栏
12-14 284
DataNode启动失败： 2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwx...
Hadoop 集群报错问题
Xu_XiaoXiao_Ji的博客
02-22 284
Hadoop 启动集群报错
hadoop集群错误
maixia24的专栏
04-05 618
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: ubuntu: ubuntu: Name or service not known hostname查看下自己的主机名是ubuntu，但是在/etc/hosts里面却找不到ubuntu对应的ip，添加127.0.0.1 ubu
Hadoop NameNode重新格式化 Failed to add storage directory [DISK]file
是个好男人的博客
03-07 3295
1.介绍 在NameNode重新格式化之前，需要删除DataNode上的数据和log日志。不然会造成NameNode和DataNode的clusterID不一致的问题。会有以下报错信息： Failed to add storage directory [DISK]file 2.重新格式化流程 （1）停止Hadoop服务 在NameNode上执行 需要已经配置好了环境变量 stop-all.sh （2）删除DataNode上的数据和log日志 查看hdfs-site.xml中的..
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
centos8启动hadoop集群报错Permission denied
04-23
这可能是由于Hadoop进程没有足够的权限而导致的。您可以检查Hadoop配置文件和相应目录的权限是否正确设置，或者尝试使用sudo命令启动Hadoop。如果问题仍然存在，您可能需要查看Hadoop的日志文件以获取更多详细信息以解决此问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值