hadoop的dataNode节点起不来

最新推荐文章于 2024-08-06 13:45:00 发布
最新推荐文章于 2024-08-06 13:45:00 发布
阅读量6.1k 收藏 1
点赞数
文章标签： hadoop的data节点磁盘挂了
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29667805/article/details/82226360
版权
在检查Hadoop集群时发现一个DataNode节点因/data10/dn目录不存在导致无法启动。日志显示FileNotFoundException，指出dataNode的数据目录未找到。为恢复服务，需检查其他节点磁盘使用情况及Hbase的Region状态，确保数据一致性。
摘要由CSDN通过智能技术生成

今天发现hadoop集群挂掉了一个dataNode节点:

此时发现一个dataNode节点已经挂了快60个小时了(由于我被临时调用到别的工作中,以为这磁盘很坚强,加上加班,所以疏忽了,有点不称职了)

赶快启动单节点

hadoop-daemon.sh start datanode 

 

顿时*花一紧,没起来.赶快查日志,日志文件上面那个

************************************************************/
2018-08-30 13:50:27,885 INFO FO org.apache.hadoop.hdfs.server.datanode.DataNode: re: registered UNIX signal handlers for [TERM, HUP, INT]
2018-08-30 13:50:28,213 WARN RN org.apache.hadoop.hdfs.server.datanode.DataNode: In: Invalid id dfs.datanode.data

最低0.47元/天 解锁文章
济宁小图
关注
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5726
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop datanode启动不起来
dragon_fire的专栏
03-16 1367
转自：http://book.51cto.com/art/201110/298602.htm 如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。   无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有
hadoop datanode启动失败
weixin_34216196的博客
12-16 147
问题导读：1、Hadoop出现问题时，该如何入手查看问题？2、datanode无法启动，我们该怎么解决？3、如何动态加入DataNode或TaskTracker？ 一、问题描述当我多次格式化文件系统时，如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format   复制代码 会出现...
Hadoop之DataNode
最新发布
weixin_57342469的博客
08-06 771
修改：以后每周期（6小时）上报所有块信息！！！！！心跳机制：心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。DataNode会主动联系NameNode。
hadoop集群datanode启动不起来
qq_23043541的博客
12-28 1428
hadoop集群中一般在多次格式化后datanode启动不起来，是因为hadoop集群在多次格式化时datanode的并不会重新格式化，而namenode则会重新格式化，此时再启动hadoop就会导致namenode中的key值与datanode中的不匹配 可以通过查看日志发现：  namenode clusterID = CID-33661d8e-64e3-491f-b5b8-6c9c7...
hadoop datanode起不来
weixin_34252686的博客
03-17 123
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop3 DataNode起不来
感谢你的关注~~~~ღ( ´･ᴗ･` )
01-07 242
第一种情况： 在hdfs-site.xml中： <property> <!-- datanode进行内存和磁盘数据集块校验，更新内存中的信息和磁盘中信息的不一致情况，默认6小时，3600000毫秒是1小时--> <name>dfs.datanode.directoryscan.interval</name> <value>3600000</value> </property> 将这个...
hadoop的datanode启动不起来
beijing20120926的专栏
03-23 867
经常会遇到这样的情况，hadoop的datanode启动一阵子后，突然一会又down掉了这样的现象 主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。 方法：建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3119
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
hadoop环境安装，Datanode起不来
小透明-溶冰
03-21 1416
我之前用root安装的hadoop，想要创建一个普通的user用户 chown -R user:user hadoop chmod -R 755 hadoop 权限部分要求是755，要不然出错。Datanode起不来 Datanode的日志中提示 2013-03-21 15:33:07,562 WARN org.apache.hadoop.hdfs.server.data
hadoop的DataNode启动不起来的问题
k393393的博客
06-30 7617
执行./hdfs namenode -format和./start-all.sh之后 查看进程jps,并未发现DataNode 原因： 可能是因为每次没有关闭就格式化导致DataNode保存dfs/data/current/VERSION记录的clusterID是上一次格式化的，而不是本次格式化的。（使用./hdfs namenode -format格式化namenode时，会在namenode...
Hadoop datanode 无法启动
zzbxyz
04-02 371
今天在启动Hadoop集群的时候，datanode结点一直起不来。原因是因为VERSION不一致。解决方法：删除hdfs-site.xml中设置的dfs.namenode.name.dir和dfs.datanode.dadta.dir节点指定的目录下的文件夹，然后重新format namenode和启动hadoop就可以了。原因：/datanode不被namenode识别的问题 namenode在...
Hadoop中 datanode 启动不了
Natsu_natsu的博客
10-27 333
讲hadoop格式化后,重新启动hadoop时发现datanode启动不了,原因推测可能是namenode格式化话id与之前的不一致,datanode识别不了,所以没有启动。讲hadoop文件夹的data/dfs/data/current中的VERSION文件夹删除,再重新创建个名叫VERSION文件夹,最后启动hadoop,发现此时全部启动了。
hadoop datanode无法启动
help_child的博客
02-05 2091
datanode无法启动报错问题及解决方法
hadoop datanode启动不起来解决办法
百年一梦
04-08 4547
当多次对namenode进行格式化不成功，并且启动不了datanode。logs里记录如下： 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存
一个DATANODE无法启动的问题
cuituancheng9378的博客
12-02 215
java.io.IOException: File … could only be replicated to 0 nodes, instead of 1。 使用dfsadmin -report报无数据节点，如下： [ha...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值