搭建Hadoop2集群出现Datanode启动不了的问题及解决办法

最新推荐文章于 2024-01-10 00:07:33 发布
最新推荐文章于 2024-01-10 00:07:33 发布
阅读量4.3k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop datanode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiesai588/article/details/51222889
版权
在搭建Hadoop2.5.2 HA集群时遇到DataNode无法启动的问题，表现为即使通过start-all.sh启动，DataNode在node2和node3上仍然无法正常运行。错误源于多次namenode格式化导致的VERSION不一致。解决方案是删除core-site.xml配置的hadoop.tmp.dir目录内容并重新格式化。
摘要由CSDN通过智能技术生成

描述现象：根据hadoop官网文档利用三个节点搭建hadoop2.5.2 HA集群，其中node2与node3作为DataNode节点。搭建完成在/hadoop-2.5.2/sbin目录下通过./start-all.sh启动所有服务后发现node2与node3中的DataNode无法正常启动，在其他服务没有关闭的情况下单独在node2与node3上用hadoop-daemon.sh start datanode命令仍没有无法启动。但是如果用./stop-all.sh将其他服务都关闭后再node2与node3上使用hadoop-daemon.sh start datanode命令则DataNode此时可以正常启动！

日志文件错误提示信息（logs）：

2016-04-18 11:10:01,318
最低0.47元/天 解锁文章
neuxs
关注
专栏目录
Hadoop集群的DataNode启动不了的解决办法
BigData_Hubert的博客
08-18 3707
关于Hadoop集群的DataNode启动不了的问题是安装Hadoop最常见的坑，下面我介绍五种方法来填坑。 异常提示 hadoop集群子节点目录下 jps 操作没有显示datanode的进程 http://master-ip: 8088窗口下： java操作hadoop异常提示：Java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked. 出现上述3者情况之一，都
Hadoop Hdfs DataNode 启动失败
zhuhailong
11-28 1002
Hadoop HDFS 异常处理
Hadoop的DataNode无法启动问题解决
ljb_blog的专栏
01-13 820
java.io.IOException: File  … could only be replicated to 0 nodes, instead of 1。  使用dfsadmin -report报无数据节点，如下： [Hadoop@namenode hadoop]$ hadoop dfsadmin -report     Configured Capacity: 0 (0 KB)  
Hadoop启动的时候，发现Datanode启动不了，解决办法
Learning by doing
11-07 1万+
（1）现象： #jps 看不到DataNode （2）可能原因： datanode的clusterID 和 namenode的clusterID 不匹配。 （3）解决办法： 找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/） dfs.name.di
datanode启动失败
shuideyidi的专栏
11-01 8064
当我动态添加一个hadoop从节点的之后，出现了一个问题： [root@hadoop current]# hadoop-daemon.sh start datanode starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out [root@hadoop 
快速学习-Jenkins CLI计算节点
逍遥云恋
09-18 378
计算节点 Jenkins 的最佳实践是让 master 只做调度任务，其他的构建等任务的执行都放在 agent（计算节点）上运行。 在安装不同插件后，使得 Jenkins 可以支持静态、动态类型的节点。所谓静态，指的是需要我们人工来维护，例如： 创建、上线、下线对应的节点。所谓动态，则可以根据既定的规则，自动地创建、销毁节点； 以 Kubernetes 插件 为例，它通过动态地创建 和销毁 Pod 来提供节点的运行。 协议 不管是动态还是静态的节点，都需要特定的协议来链接 agent 和 master。Je
格式化namedata、hdfs后datanode无法启动
最新发布
ysl1196321875的博客
01-10 1344
格式化后但datanode不见了。这是为啥呢？
hadoop-004-启动HA HDFS hadoop 2.7.2 遇到的datanode启动失败
weixin_33937499的博客
11-26 360
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 9299
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop启动datanode失败或无法启动
热门推荐
liangsw
05-16 2万+
一、问题描述        当我多次格式化文件系统时，如        [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format      会出现datanode无法启动，查看日志（/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log），发现错误为： 2018-0...
hadoop启动时datanode无法启动或者启动失败
qiaobiao的博客
02-26 364
一、问题描述 当我多次格式化文件系统时，如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动 二、问题产生原因 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个c...
Hadoop启动时datanode启动失败
qq_37618154的博客
07-03 1020
1. Incompatible clusterIDs hadoop的data-node在它的版本文件里存储一个永久性的clusterID，当datanode启动时会检查并匹配namenode的版本文件里的clusterID，如果两者不匹配，就会出现"Incompatible clusterIDs"的异常。 　　每次格式化namenode都会生成一个新的clusterID, 如果只格式化了namenode，没有格式化此datanode， 就会出现”java.io.IOException: Incompatib
【问题解决】hadoop datanode无法启动
weixin_41080602的博客
11-16 352
hadoop 配置描述：namenode: master    secondartynamenode :slave2 datanode: master slave1 slave2 问题描述：master多次执行dfs格式化指令以后,namenode secondarynamenode 启动正常，datanode无法启动 问题产生原因参考：http://blog.sina.com.cn/
【Hadoop】Datanode启动失败
Vici__
03-12 427
启动hadoop后，用jps命令查看，始终没有DataNode。 解决办法： 首先关闭hadoop hadoop@vici-PC:/usr/local/hadoop$ ./sbin/stop-all.sh 进入tmp这个文件下（看好路径） hadoop@vici-PC:/usr/local/hadoop$ cd ./tmp 删除dfs hadoop@vici-PC:/us...
Hadoop DataNode不能启动，不能全部启动
weixin_41998650的博客
04-04 1万+
Hadoop DataNode不能启动，不能全部启动
【大数据基础】启动hadoop服务时datanode节点启动失败
Best_T的博客
04-04 2119
【错误描述】 启动hadoop后，没有datanode节点 【原因分析】 多次格式化namenode造成namenode与datanode的不同 【解决方案】 1.stop-all.sh 停止hadoop 2.删除/export/data/hadoop/tmp下所有内容 （文件路径可能会不同） 3.hadoop namenode -format 重新格式化namenode节点 4.start-all.sh 重新启动hadoop ...
虚拟机开机，打开hadoop步骤，启动datanode失败解决办法（自用）
qq_44812523的博客
04-06 4642
1、切换到hadoop解压后所在文件夹 cd /opt/modules/hadoop-2.6.5 2、格式化 bin/hdfs namenode -format 3、启动进程 sbin/start-all.sh 4、输入jps检验所打开的进程 问题： 若因为多次格式化，而无法启动datanode，执行以下操作。 1、切换到name、data文件所在路径，可以通过查看hdfs-site.xml配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值