hdfs环境搭建，datanode启动失败解决办法。

最新推荐文章于 2022-06-24 14:51:20 发布
最新推荐文章于 2022-06-24 14:51:20 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： hadoop环境搭建 文章标签： hdfs namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sincere_cry/article/details/70212960
版权

问题出现：

在hdfs配置中start-dfs.sh 无法启动datanode，便无法对文件进行上传。

查看日志：

2017-03-03 06:03:44,639 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /hadoop2: namenode clusterID = CID-3e8487af-920d-42b4-a22c-ba1bfa1368f9; datanode clusterID = CID-c3b09e98-83e0-4e3f-a36d-f486aee4f68d
2017-03-03 06:03:44,639 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /hadoop3/in_use.lock acquired by nodename 12882@hadoop1
2017-03-03 06:03:44,639 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /hadoop3: namenode clusterID = CID-3e8487af-920d-42b4-a22c-ba1bfa1368f9; datanode clusterID = CID-c3b09e98-83e0-4e3f-a36d-f486aee4f68d
2017-03-03 06:03:44,640 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to hadoop2/192.168.114.137:8020. Exiting.
java.io.IOException: All specified directories are failed to load.

由错误日志可以看出namenode的clusterID和datanode 的clusterID是不同的。

解决方法：

将namenode中的current目录copy到datanode中的current，namenode的目录和datanode 的目录在hdfs-site.xml文件中能够找到

产生问题原因：

在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 没有改变
Sincere_Cry
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
HDFS启动失败，部分机器启动成功部分失败
qq_38482061的博客
06-19 1777
报错如下： Initialization failed for Block pool (Datanode Uuid unassigned) service to hadoop102/192.168.1.102:9000. Exiting. 原因：第一次启动HDFS需要先格式化，再次执行格式化命令时需要先删除data下的数据，否则和之前id冲突。 解决方法是直接删除tmp下的所有数据： rm -rf tmp 然后格式化HDFS hdfs namenode -format 再重启HDFS，成功 ...
hdfs启动问题：
qq_53368181的博客
10-25 1946
在主节点上执行start-dfs.sh命令启动hdfs，无法启动datanode： 1）看一下slaves文件有没有配置正确 2）检查从namenode节点到datanode节点的免密登录是否配置正确； 3）测试一下从namenode上能否ping通datanode，datanode节点的防火墙有没有关（或者如果你的本意就是不关闭防火墙，而是只给hadoop开启特定的端口的话，那就使用telnet命令检查一下从namenode节点到datanode节点的特定端口能不能连接上） 4）还有一种比较特殊的
HDFS ---- Services startup
woelegant的专栏
10-22 708
Overview HDFS内部把各种功能通过各种服务的方式向外部提供。 在启动的时候，HDFS主要启动以下一些服务： HTTPServer， 用来动态查看当前系统状态；JVMPauseMonitor， 用来记录当前运行的JVM是否曾经暂停过；NameNodeResourceChecker， 定期检查当前系统可用的本地目录的可用空间；BlockManager， 管理系统中所有与Block相关
openGauss脚本源码浅析（1）—— simpleInstall
夏洛的克
05-23 402
摘要 在编译完成openGauss或者已download了openGauss的bin后，想要做简易安装，官方给的使用方法是使用simpleInstall。本文主要介绍simpleInstall的脚本的功能，来了解一下简易安装内部实现原理。 openGauss简易安装 postgres初始化数据库 了解openGauss安装之前简单说一下postgres的安装过程，postgres没有提供安装脚本，但是初始化数据库集簇的命令很简单： initdb -D $PGDATA 会在指定的PGDATA目录下创建
datanode无法启动的原因以及解决办法
蘑菇睡不着
11-23 4832
1.datanode无法启动的原因有很多，出现问题首先应该去看日志来定位问题所在，日志一般在logs文件夹下 2.看一下我datanode启动失败的日志 2019-11-23 20:56:25,106 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <reg...
Hadoop +API之idea+maven搭建HDFS开发环境
01-07
环境搭建–集群环境搭建 3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖，根据需求搜索其他的对应开发包...
HDFS集群搭建
07-02
HDFS能 够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构，同现 有的一些文件系 统类似，如可以对文件进行创建、删除、重命名等操作。
Hadoop环境搭建和HDFS Shell命令
09-17
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动
第2章 Kylin环境搭建
01-07
上篇：第1章 大数据Kylin之术语 1、安装地址 （1）官网地址 ...（2）官方文档 ...（3）下载地址 ... 2、安装部署 （1）将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux （2）解压apache-kylin-2.5.1-bin-hbase1x.tar.gz...
CDH-安装Kafka
weixin_39182877的博客
02-04 1264
https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r cd /var/www/html [root@hadoop001 html]# ll total 8 drwxr-xr-x 2 root root 4096 Jan 14 04:48 cdh_
027-解决cdh6.2中datanode无法启动问题
weixin_34185560的博客
06-20 1242
这是坚持技术写作计划（含翻译）的第27篇，定个小目标999，每周最少2篇。 今天安装cdh时遇到hdfs启动失败问题，解决起来倒是不麻烦，简单记录下。 关键信息 java.io.IOException: Incompatible clusterIDs in /dfs/dn: namenode clusterID = cluster74; datanode clusterID = cluste...
CDH启动DataNode失败
dinghua_xuexi的专栏
05-03 1131
搭建完CDH集群后，发现有一个DataNode启动后马上又挂掉，反复几次都是如此，查看角色日志 java.net.BindException: Problem binding to [cdh01:50020] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org...
Hadoop启动datanode失败或无法启动
liangsw
05-16 2万+
一、问题描述        当我多次格式化文件系统时，如        [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format      会出现datanode无法启动，查看日志（/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log），发现错误为： 2018-0...
CDH起datanode服务时遇到的异常及解决方法
Tinson写字的地方
02-15 1474
报错内容 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /opt/dfs/dn: ExitCodeException exitCode=1: chmod: changing permissions of `/opt/dfs/dn’: Operation not permitte...
linux节点启动不成功,Hadoop 启动节点Datanode失败解决
weixin_42117116的博客
05-15 1800
当我动态添加一个Hadoop从节点的之后，出现了一个问题：[root@hadoop current]#hadoop-daemon.sh start datanodestarting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out[root@hadoop~]#jps...
快速学习-Jenkins CLI计算节点
逍遥云恋
09-18 352
计算节点 Jenkins 的最佳实践是让 master 只做调度任务，其他的构建等任务的执行都放在 agent（计算节点）上运行。 在安装不同插件后，使得 Jenkins 可以支持静态、动态类型的节点。所谓静态，指的是需要我们人工来维护，例如： 创建、上线、下线对应的节点。所谓动态，则可以根据既定的规则，自动地创建、销毁节点； 以 Kubernetes 插件 为例，它通过动态地创建 和销毁 Pod 来提供节点的运行。 协议 不管是动态还是静态的节点，都需要特定的协议来链接 agent 和 master。Je
hdfs datanode启动失败 org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable
热门推荐
不是一枚开发
06-24 6万+
问题：datanode启动失败,查看datanode日志 原因： 查看服务器文件系统和挂载发现挂载的磁盘不存在 查看hdfs数据目录 hdfs-site.xml的配置数据目录和磁盘容错 解决：因为没磁盘换，可 或者
hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装
YueBanWa的博客
01-19 5325
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍 简介 我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的Hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。
hdfs datanode启动失败
最新发布
09-19
根据提供的引用内容，如果hdfs datanode启动失败，可以尝试以下方法解决问题： 1. 在没有启动datanode上的主机上尝试，单独启动datanode，使用命令：sbin/hadoop-daemon.sh start datenode。如果启动成功，则可能是缺少slaves配置的问题。可以使用命令关闭datanode：sbin/hadoop-daemon.sh stop datenode，然后修改slaves配置文件。 2. 如果启动失败，可能是由于多次执行hadoop namenode -format 导致datanode的version里的Cluster-Id不一致。可以尝试重新格式化datanode，使用命令：hadoop namenode -format。 3. 最后重新启动hadoop即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值