【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

于 2023-12-15 07:00:00 发布
阅读量2.7k 收藏 25
点赞数 21
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60511809/article/details/134899966
版权

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。

在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径在这里插入图片描述

打开name目录中current下面的VERSION文件，然后用这个clusterID替换掉datanode节点上的data/current/VERSION里的clusterID

在这里插入图片描述

参考http://t.csdnimg.cn/Gk4cg

执行start-dfs.sh后，datenode没有启动的最全解决办法（全网最全）
小白的大数据之旅的博客
08-13 1913
在Hadoop中申请一个Flink的Session会话的时候出现了报错报错内容看到说没有找到datanode,然后我就去检查了一下进程，发现确实没有看到datanode，在使用start-dfs.sh的时候，datanode没有启动。
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
weixin_52918377的博客
05-13 4018
解决hadoop高可用，脚本启动时namenode启动不了的问题 在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时，经常发现高可用的namenode之启动了一个 查看错误日志发现 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hdp14/192.168.204.14 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.1.4 STARTUP_MSG: cla
执行start-dfs.sh后，datenode没有启动
want_to_fly_的博客
10-02 890
多次格式化会导致主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。我只是虚拟机搞得大数据，所以简单做法就是。的数据存储目录，然后直接删除 data,然后重新创建 data里面的 nn和 dn,然后重新设置一下权限。hadoop namenode -format 格式化多次导致的。一般来说，没有其他报错的话，基本上就是因为。（3）重新格式化就可以成功启动datenode.NameNode元数据的存储位置还有。hdfs-site.xml文件。
执行start-dfs.sh后，datenode没有启动的解决办法
诗和远方，代码和你
06-18 1万+
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。 解决方案（一）： 在hdfs-site.xml文件下找到这两个文......
安装hadoop2.4.0遇到的问题
weixin_30840253的博客
06-19 269
一、执行start-dfs.sh后，datenode没有启动 　　查看日志如下：　　 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Data...
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
hadoop start-dfs.sh java_home问题
qq_43395671的博客
04-13 2427
centos 7 hadoop 3 hadoop-env.sh 增加了JAVA_HOME export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64 在start-dfs.sh报错，JAVA_HOME is not set and could not be found 找了很多文章都无果，看了 【hadoop】/sbin/start-dfs.sh Error: JAVA_HOME is not set and could not be found._CGD_Pr
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
hadoop-3.1.3.tar.gz
12-06
启动Hadoop集群，可以依次执行以下命令： ``` start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后，可以通过访问http://localhost:50070查看NameNode的状态，http://localhost:8088查看ResourceManager...
start-dfs启动节点时，datanode无法启动
盖世英雄来了
05-19 2147
首先查看日志中，报错信息如下： java.io.IOException: Incompatible clusterIDs in /opt/modules/app/hadoop/hdfs/data: namenode clusterID = CID-33b98b82-2cdb-4665-a1d3-a3b9296f7d18; datanode clusterID = CID-db74cf3a-...
启动Hadoop集群时$ ./sbin/start-dfs.sh，DataNode没有启动
weixin_42114280的博客
05-13 6336
$ jps 3555 SecondaryNameNode 3295 NameNode 3756 Jps 原因：多次格式化namenode导致的namenode与datanode之间的不一致（多次格式化，版本不一致） 解决：把Hadoop下的log和tmp文件夹删掉、Hadoopdata里面文件删除（没有Hadoopdata文件，则将Hadoop下的dfs下的data里面文件删掉） ...
start-dfs.sh启动HDFS发现datanode没有启动
UniqueChunBlog
12-11 7167
我们做实验时一般都会搭建一个单节点的集群，有时启动HDFS后发现一直处于Safemode is on，等待很长时间还是没有off后没有耐心就直接重新hdfs namenode -format了，重新启动了发现HDFS的Security is off.Safemode is off.都正常了。此时满心欢喜可以动手做实验，但是悲催的你会发现 hadoop fs -ls 啥的可以使用，但是hadoop
执行start-dfs.sh后，datenode没有启动(转改)
weixin_33985679的博客
07-22 148
　查看日志如下：　　 从日志中可以看出，原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。 java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-7...
二、执行sbin/start-dfs.sh后，datenode没有启动
花言简
04-28 4594
可能hadoop没有正常关闭，然后电脑虚拟机挂起了，重新启动时，发现datanode没有启动；查看datanode的日志：报错说，namenode clusterID和datanode clusterID不相容。主节点和从节点（个人只安装了一个从节点）的hadoop安装目录下，$ vim etc/hadoop/hdfs-site.xml查看namenode和datanode的目录：主节点和从节点分...
Hadoop之——执行start-all.sh时namenode没有启动
Sunshine
03-15 3477
最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hadoop_...
start-dfs.sh无法启动namenode(jps查看不到namenode)
u012504875的博客
07-06 1万+
1.当启动hadoop后，一般会通过jps命令查看hadoop的启动情况，本人hadoop菜鸟一枚，在启动后一直看不到namenode的启动。   2.一般发生这种情况，我觉得有必要在hadoop文件夹下的logs文件夹里查看日志： 3.一般会查看.log文件，查看后如果发现tmp文件夹里找不到namenode，说明启动hadoop时没有产生name文件。 4.
执行start-dfs.sh namenode无法启动?
qq_41495340的博客
11-06 2317
今天在做hadoop实验的时候，eclipse显示连接不上hadoop了文件都显示不出 发现JPS一下namenode没有启动 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hadoop_tmp目录 mkdir hadoop_tmp 然后修改hadoop/etc...
彷徨 | 执行start-dfs.sh后，namenode正常启动 , datenode没有启动
彷徨的博客
08-17 2488
解决启动集群后namenode正常显示,datanode却没启动的问题 启动Hadoop2.8.3集群后，遇到namenode启动 , 但是datanode进程没启动，查看日志发现如下报错： java.io.IOException: Incompatible clusterIDs in /home/casliyang/hadoop2/hadoop-2.2.0/metadata/data: na...
hive start-dfs.sh启动不成功
最新发布
12-10
在使用Hive时，启动start-dfs.sh脚本不成功可能由多种原因引起。以下是一些常见的问题及其解决方法： 1. **配置文件问题**： - 检查`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等配置文件是否配置正确。 - 确保`JAVA_HOME`环境变量正确配置。 2. **SSH无密码登录**： - 确保已经配置了SSH无密码登录。可以使用`ssh-keygen`生成密钥，并将公钥添加到`~/.ssh/authorized_keys`文件中。 - 尝试使用`ssh localhost`命令测试是否需要输入密码。 3. **端口占用**： - 检查Hadoop所需的端口（如50070、50075等）是否被其他进程占用。可以使用`netstat -tuln`命令查看端口占用情况。 4. **防火墙设置**： - 确保防火墙没有阻止Hadoop所需的端口。可以临时关闭防火墙进行测试：`systemctl stop firewalld`。 5. **日志文件**： - 查看Hadoop的日志文件，通常位于`$HADOOP_HOME/logs`目录下，寻找错误信息以便进一步排查问题。 6. **权限问题**： - 确保Hadoop安装目录和相关文件对当前用户具有读写权限。 7. **Hadoop服务状态**： - 检查Hadoop的服务状态，确保没有异常。可以使用`jps`命令查看Java进程。 以下是一个示例步骤： ```bash # 检查SSH无密码登录 ssh-keygen -t rsa ssh-copy-id localhost ssh localhost # 检查端口占用 netstat -tuln | grep -E '50070|50075' # 关闭防火墙 systemctl stop firewalld # 查看Hadoop日志 tail -f $HADOOP_HOME/logs/*.log # 检查Hadoop服务状态 jps ``` 通过以上步骤，可以逐步排查并解决start-dfs.sh启动不成功的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不怕娜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值