【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量2.3k 收藏 22
点赞数 20
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60511809/article/details/134899966
版权

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。

在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径在这里插入图片描述

打开name目录中current下面的VERSION文件，然后用这个clusterID替换掉datanode节点上的data/current/VERSION里的clusterID

在这里插入图片描述

参考http://t.csdnimg.cn/Gk4cg

不怕娜
关注
  • 20
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
hadoop-2.7.4.tar.gz
07-08
9. **安装与启动**：`hadoop-2.7.4`目录下的`bin`目录包含启动和停止Hadoop服务的脚本，如`start-dfs.sh`、`start-yarn.sh`和`stop-all.sh`。安装Hadoop时，需要正确配置环境变量，并根据实际硬件环境调整配置文件。...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
安装hadoop2.4.0遇到的问题
weixin_30840253的博客
06-19 206
一、执行start-dfs.sh后，datenode没有启动 　　查看日志如下：　　 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Data...
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 642
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
执行start-dfs.sh后，datenode没有启动
want_to_fly_的博客
10-02 627
多次格式化会导致主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。我只是虚拟机搞得大数据，所以简单做法就是。的数据存储目录，然后直接删除 data,然后重新创建 data里面的 nn和 dn,然后重新设置一下权限。hadoop namenode -format 格式化多次导致的。一般来说，没有其他报错的话，基本上就是因为。（3）重新格式化就可以成功启动datenode.NameNode元数据的存储位置还有。hdfs-site.xml文件。
启动Hadoop集群时$ ./sbin/start-dfs.sh，DataNode没有启动
weixin_42114280的博客
05-13 6025
$ jps 3555 SecondaryNameNode 3295 NameNode 3756 Jps 原因：多次格式化namenode导致的namenode与datanode之间的不一致（多次格式化，版本不一致） 解决：把Hadoop下的log和tmp文件夹删掉、Hadoopdata里面文件删除（没有Hadoopdata文件，则将Hadoop下的dfs下的data里面文件删掉） ...
start-dfs.sh启动HDFS发现datanode没有启动
UniqueChunBlog
12-11 7006
我们做实验时一般都会搭建一个单节点的集群，有时启动HDFS后发现一直处于Safemode is on，等待很长时间还是没有off后没有耐心就直接重新hdfs namenode -format了，重新启动了发现HDFS的Security is off.Safemode is off.都正常了。此时满心欢喜可以动手做实验，但是悲催的你会发现 hadoop fs -ls 啥的可以使用，但是hadoop
执行start-dfs.sh后，datenode没有启动(转改)
weixin_33985679的博客
07-22 105
　查看日志如下：　　 从日志中可以看出，原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。 java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-7...
hadoop-3.1.3.tar.gz
12-06
启动Hadoop集群，可以依次执行以下命令： ``` start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后，可以通过访问http://localhost:50070查看NameNode的状态，http://localhost:8088查看ResourceManager...
hadoop-3.2.2.tar.gz
09-27
8. **启动与使用**：启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`，然后可以使用Hadoop的命令行工具（如hadoop fs、hadoop jar等）或Hadoop API进行数据处理。 9. **优化与监控**：根据实际需求和资源状况对...
hadoop-3.3.1.tar.gz
06-26
- **启动Hadoop**：通过`start-dfs.sh`和`start-yarn.sh`命令启动HDFS和YARN服务。 4. **HDFS操作** - **上传数据**：使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。 - **查看数据**：`hadoop fs ...
二、执行sbin/start-dfs.sh后，datenode没有启动
花言简
04-28 4503
可能hadoop没有正常关闭，然后电脑虚拟机挂起了，重新启动时，发现datanode没有启动；查看datanode的日志：报错说，namenode clusterID和datanode clusterID不相容。主节点和从节点（个人只安装了一个从节点）的hadoop安装目录下，$ vim etc/hadoop/hdfs-site.xml查看namenode和datanode的目录：主节点和从节点分...
执行start-dfs.sh后，datenode没有启动的解决办法
john_deng2的博客
09-28 874
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。 解决方案（一）： 在hdfs-site.xml文件下找到这两个文件路径，打...
start-dfs启动节点时，datanode无法启动
盖世英雄来了
05-19 2070
首先查看日志中，报错信息如下： java.io.IOException: Incompatible clusterIDs in /opt/modules/app/hadoop/hdfs/data: namenode clusterID = CID-33b98b82-2cdb-4665-a1d3-a3b9296f7d18; datanode clusterID = CID-db74cf3a-...
记一次启动Hadoop服务时，DataNode节点无法启动的问题
limenghao2002的博客
12-02 726
小编现在大三了，最近一直在配置集群环境，昨天配置好的hadoop可能是太累了看到NameNode启动就没管了，今天上课才发现使用start-dfs.sh启动服务后，通过jps查看服务发现没有DataNode进程。 通过在网上搜索资料发现，是因为我自己以前配置了一次hadoop，但是那次因为没有时间也就没有配置成功，相当于是一个半成品放在那个地方，而且那次也已经通过hdfs namenode -format将NameNode格式化了，现在发现hdfs namenode -format一定要慎用。 原.
Hadoop DataNode不能启动，不能全部启动
LakerPauGasol的博客
03-06 3125
可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件，这个文件是集群里所有DataNode的主机名，如果缺少某一个主机名，不能全部启动，将全部要启动datanode的主机名加入即可。目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。解决方案：删除hadoop配置文件core-site.xml中指定的缓存数据路径中的数据，然后进行格式化操作。
hadoop用root用户启动集群执行start-dfs.sh后出现错误Attempting to operate on hdfs namenode as root
05-16
如果你使用 root 用户启动 Hadoop 集群，那么在执行 start-dfs.sh 脚本时就会出现 "Attempting to operate on hdfs namenode as root" 错误。 为了解决这个问题，你需要以非 root 用户身份启动 Hadoop 集群。通常...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不怕娜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值