Hadoop-2.7.4启动datanode失败

最新推荐文章于 2023-05-23 21:45:14 发布
转载 最新推荐文章于 2023-05-23 21:45:14 发布 · 623 阅读 · 0

本文解决Hadoop-2.7.4 datanode启动失败问题，涉及错误提示、原因分析及详细步骤，包括停止进程、清理临时与数据目录、重新格式化namenode。

Hadoop-2.7.4启动datanode失败，出现如下错误：

WARN org.apache.hadoop.hdfs.server.common.Storage: 
Failed to add storage directory [DISK]file:/opt/hbase/temp/hadoop-root/dfs/data/

出错原因：datanode数据目录中还有原来老版本、上次运行后残留数据或者其它集群的数据，需要清除。

解决办法：

1. 关闭hadoop所有进程

/opt/hbase/hadoop-2.7.4/sbin/stop-all.sh
不放心的话，可以单独再stop一次
/opt/hbase/hadoop-2.7.4/sbin/stop-dfs.sh
/opt/hbase/hadoop-2.7.4/sbin/stop-yarn.sh

1

/opt/hbase/hadoop-2.7.4/temp目录下文件；

/opt/hbase/hadoop-2.7.4/dfs目录下data文件

rm -rf /temp/hadoop-yourusername/*    （所有datanode节点都要执行）

1

/opt/hbase/hadoop-2.7.4/bin/hdfs namenode -format

2. 删除hadoop命名空间目录和节点上数据目录下文件；（网上有方法通过修改集群ID，我觉得麻烦，因此，直接删除）

我的路径为：
/opt/hbase/hadoop-2.7.4/temp
/opt/hbase/hadoop-2.7.4/dfs

 

Hadoop 集群 | common.Storage: Failed to add storage directory [DISK]file:/usr/local/hadoop-2.10.0/data
qq_41497111的博客
12-13 3149
问题 多次进行hdfs namenode -format 导致hadoop/dfs/data/current/VERSION 不一致。 启动hadoop 集群，发现只有主节点及SecondaryNameNode启动，datanode均为启动。 2019-12-13 14:33:31,532 INFO org.apache.hadoop.ipc.CallQueueManager:...
再次折腾－启动hadoop时遇到问题
wqhlmark64的博客
07-13 1540
期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次，遇到各种莫名其妙问题，好事多磨，也算是对先前没遇到问题的一个补充。 １.　namenode 9000端口被占导致namenode startup failed        这段本地调试其它程序时启动过xdebug，它的默认端口就是9000,　netstat
Hadoop集群改名导致无法启动DataNode
持续学习持续开发，我是雷学委！
05-15 446
Hadoop集群更名 导致无法启动D a ta N o de 错误描述 之前集群能够启动各个节点的。 因为最近集群改名了，启动NameNode可以的。 启动DataNode没有任何提示。 进入hadoop logs目录查找hadoop-root-datanode-bd-cluster1.log文件发现下面的错误。 错误关键信息： org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/
Hadoop中DataNode不能启动的问题
GreatMichael001的博客
05-14 868
Hadoop中DataNode不能启动 1、DataNode不能动的主要原因是多次格式化namenode文件系统造成的。 $ hdfs namenode -format 这样就会出现DataNode无法启动，查看日志文件发现错误是因为namenode和DataNode的clusterID不一样所造成的。 2、当格式化文件时，会在namenode（
DataNode启动报错Failed to add storage directory [DISK]file:【已解决】
Danger
05-23 2011
Lock on /home/software/hadoop/hadoop-2.7.7/dfs/data/in_use.lock acquired by nodename 17941@iZa3y01l4cd5oebwfuvt8qZ 2023-05-23 19:20:50,040 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/software/hadoop/h
hadoop-2.7.4.tar.gz
08-18
安装时需设置环境变量，配置Hadoop配置文件（如core-site.xml、hdfs-site.xml、yarn-site.xml等），并进行格式化NameNode，启动DataNode和ResourceManager等服务。 6. **Hadoop命令行工具**：包括`hadoop fs`命令，...
hadoop-2.7.4-with-windows.tar.gz
08-07
标题中的"hadoop-2.7.4-...总的来说，这个压缩包提供了一个在Windows上快速启动和运行Hadoop 2.7.4的解决方案，避免了手动配置和解决跨平台兼容性问题的麻烦，适合开发者和初学者在本地进行Hadoop相关的开发和学习。
hadoop-2.7.4.tar.gz(linux版安装包)
最新发布
05-15
5. **启动Hadoop服务**：启动Hadoop的各个服务，如DataNode、NameNode、ResourceManager、NodeManager等。通常可以使用以下命令： ``` sbin/start-dfs.sh sbin/start-yarn.sh ``` 6. **验证安装**：可以通过...
hadoop-2.7.4.rar
04-24
1. 初始化Hadoop环境：运行"winutils.exe"，执行格式化NameNode、启动DataNode和NameNode等操作。 2. 启动YARN：如果选择了YARN模式，需要启动ResourceManager和NodeManager。 3. 运行Hadoop命令：验证Hadoop是否...
hadoop-2.7.4-with-windows
03-27
HDFS的启动涉及NameNode和DataNode。NameNode是HDFS的主节点，负责元数据管理，而DataNode则是存储数据的实际节点。MapReduce作业的执行需要ResourceManager和NodeManager。ResourceManager全局调度应用程序，而...
hadoop:win10本地启动hadoop遇到问题
d362658566的博客
07-20 1592
启动hadoop 提示 提示：FATAL datanode.DataNode: Exception in secureMain 解决方法：hadoop\hadoop-2.7.7\hadoop-2.7.7\etc\hadoop目录下的slave中的localhost删除 https://blog.csdn.net/mr_znc/article/details/80700652 ...
HDFS-Failed to add storage directory
Sin_Geek成长の迹
09-16 2472
背景 重启DN，报错 2019-09-16 10:30:21,724 WARN common.Storage (DataStorage.java:loadDataStorage(449)) - Failed to add storage directory [DISK]file:/hadoop/hdfs/data/ java.io.IOException: Incompatible cluste...
Hadoop之——常见错误及解决办法汇总
冰河的专栏
05-03 7982
1，错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后9 `7 k# I: L2 |9 U* @6 d 2016-05-03 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization f
Hadoop常见报错解答
dongweizu33的专栏
10-25 1423
1、启动Hadoop后发现datanode没有启动，报如下错误： WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/hadoop-2.7.3/hdfs/data/ java.io.IOException: Incompatible c
初学（15）——Hadoop datanode无法启动
Zero-to-Hero的博客
09-20 454
WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]
org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registere
weixin_39789340的博客
03-24 2743
启动hadoop 集群，发现datanode没有启动，查看日志报错，如图： // 日志文件 2020-03-24 16:40:55,608 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/module/hadoop-2.8.4/data/tmp/df...
hadoop集群安装常见问题
u010988585的专栏
12-07 4630
1、Failed to start namenode. 重新格式化hadoop 查看logs日志 hdfs namenode –format ormatting using clusterid: CID-dd578a63-1547-43fb-a4c4-4d058a9ab002 2021-12-06 18:43:13,572 ERROR namenode.NameNode: Failed to start namenode. java.lang.NullPointerExcepti..
Hadoop集群启动从节点没有DataNode
m0_61232019的博客
03-03 8811
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
hadoop里nameNode和dateNode的ID不一致解决办法
热门推荐
weixin_44915822的博客
10-07 4万+
文章目录前言解决方案第一种：根据日志找到clusterID第二种：删除所有节点里的临时文件总结 前言 namenode启动了，但是datanode没有启动，查看日志文件logs的datanode 查看到warn警告，仔细阅读后发现日志报错原因是 2020-10-08 04:15:46,298 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/export/se
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值