集群搭建好datanode启动不了

最新推荐文章于 2022-01-12 11:15:22 发布
最新推荐文章于 2022-01-12 11:15:22 发布
阅读量364 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/briup_acmer/article/details/53365343
版权

有可能是在搭建集群的时候，你重新格式化时，没有把hadoop-2.4.1/tmp的文件删除干净，记住，也要把datanode节点的tmp目录删去，因为在hdfs namenode -format 时，会自动在datanode节点创建tmp：

vi /home/hadoop/app/hadoop-2.4.1/tmp/dfs/data/current/VERSION

#Sun Nov 27 00:27:33 PST 2016
storageID=DS-e400b7ba-5c18-4c77-bbe9-696c26f869a0
clusterID=CID-85cfaded-3b0a-43ea-89cc-2e67f9f01923
cTime=0
datanodeUuid=cfcf2cb9-59fd-4091-ab76-f7981da55c31
storageType=DATA_NODE
layoutVersion=-55


上面的clusterID=CID-85cfaded-3b0a-43ea-89cc-2e67f9f01923必须和namenode里面的一致

briup_acmer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群的DataNode启动不了的解决办法
BigData_Hubert的博客
08-18 3522
关于Hadoop集群的DataNode启动不了的问题是安装Hadoop最常见的坑，下面我介绍五种方法来填坑。 异常提示 hadoop集群子节点目录下 jps 操作没有显示datanode的进程 http://master-ip: 8088窗口下： java操作hadoop异常提示：Java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked. 出现上述3者情况之一，都
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保...如果你对腾讯云上的Hadoop集群、基于ZooKeeper的高可用集群搭建，或者使用Docker部署Hadoop环境感兴趣，可以查阅相关教程，以获取更深入的指导。
Hadoop 2.6 single node cluster安装中的几个问题
我的大箩筐
04-11 753
1、安装目录一定不能带"."。我刚开始把包解压到安装目录时，直接采用了缺省的hadoop2.6.0，结果在后面运行所有命令，如hadoop version时，都会出现“could not find or load main class ****”的问题，看起来似乎是classpath的问题，但classpath也没有禁止路径中带"."，也没有想明白，但确实是不能有"."。 2、“Unable t
hadoop 启动报错 Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode
梦想还是要有的，万一实现了呢！
08-24 2607
启动hadoop集群的时候，datanode无法启动： 2018-08-06 17:54:42,346 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/java/hadoop/tmp/dfs/data/ java.io.IOException: I...
hadoop集群搭建，主节点没有DataNode进程
huting1990的博客
11-30 2437
hadoop集群搭建，主节点没有DataNode进程的原因记录 在设置 主节点服务器的 /etc/hosts 不小心把 127.0.0.1 localhost.localdomain localhost 127.0.0.1 localhost4.localdomain4 localhost4 这两行全删掉了，导致DataNode启动报错： HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use:
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8842
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop集群搭建：datanode显示不完整
编程之路
10-09 1251
问题描述 搭建Hadoop集群，节点为node01（namenode）、node02、node03。集群启动后，jps检查，各节点服务正常。浏览器访问：http://node01:50070 Overview页面Live Nodes显示为3。Datanodes页面In operation，node只显示node01。 Overview页面截图： Datanodes页面截图： 问题原因 因为使用...
平台搭建遇到namenode和datanode启动不了
weixin_51737266的博客
06-03 1181
1.遇到这种情况首先检测hadoop/conf文件中是否有错误 2.去查看hadoop下logs日志保错 3.如果是namenode 和 datanodeid
Hadoop集群启动dataNode启动不成功，
m0_37837382的博客
11-07 2134
hadoop2.7集群搭建后，启动发现nameNode和nodeManger可以启动成功，dataNode启动不成功 到hadoop安装目录的/etc/hadoop/目录下查看 datanode日志，发现服务拒绝连接，一开始怀疑是ssh配置问题，重新删除了 .ssh目录，ssh-keygen-t rsa和 ssh-copy-id hadoop105重新生成公钥和密钥，仍不成功，仔细观察warning发现启动dfs后，有一个连接localhost节点的动作，可我的workers并没有配置这个localhos
hadoop集群中DataNode启动失败
qq_43494678的博客
10-21 1521
前言 搭建了一个 HDFS 集群，用了 3 台虚拟机，1 台虚拟机是master作为NameNode节点；2 台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考「快速搭建 HDFS 系统（超详细版）」这篇博文。 1 问题描述 在搭建 HDFS 集群的过程中，难免会遇到一些稀奇古怪的问题，就如我遇到的这个问题一样： ISSUE 1，HDFS 集群搭建并启动成功，1 个NameNode节点和 2 个DataNode节点也运行正常， 可以在各自的虚拟机中用jps命令查看正在
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
详解搭建ubuntu版hadoop集群
09-15
- 启动Hadoop的DataNode、NameNode、NodeManager、ResourceManager等服务，通常使用`start-dfs.sh`和`start-yarn.sh`脚本。 **步骤10：验证集群** - 在浏览器中输入`http://<namenode-ip>:50070`，检查NameNode的...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
hadoop集群搭建教程
03-07
### Hadoop集群搭建详解 #### 一、Hadoop背景介绍 **1.1 什么是Hadoop** Hadoop是由Apache基金会支持的一个开源软件框架，旨在利用大规模计算机集群对大数据集进行分布式处理。它允许用户轻松地编写和运行处理...
hbase集群在启动的时候找不到JAVA_HOME的问题
briup_acmer的专栏
11-29 4021
hbase集群在启动的时候找不到JAVA_HOME的问题,启动集群的时候报错信息如下: root@master:/usr/local/hbase-0.90.4/bin# ./start-hbase.sh starting master, logging to /usr/local/hbase-0.90.4/bin/../logs/hbase-root-master-master.out sl
集群搭建好，namenode启动后自动停止
briup_acmer的专栏
11-27 3124
192.168.8.105:8485: Call From Weekend102/192.168.8.102 to Weekend105:8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/h
hadoop namenode 格式化出错
briup_acmer的专栏
11-27 2887
8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 16/11/26 20:20:39 INFO ipc.Client: Retrying connect to server: Weekend10
Hadoop集群搭建（7个节点）
briup_acmer的专栏
11-27 1997
谨记：不要使用root账户，使用hadoop账户 sudo 切换到root用户只执行一条命令 sudo vi /etc/inittab id:3:initdefault: 让系统在启动时不要启动图形界面，把级别改为三 在执行之前需要把hadoop 用户添加到  vi /etc/sudoers  root    ALL=(ALL)       ALL hadoop  ALL=
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值