Hadoop集群启动从节点没有DataNode

最新推荐文章于 2024-04-17 13:22:15 发布
最新推荐文章于 2024-04-17 13:22:15 发布
阅读量579 收藏 2
点赞数
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45563367/article/details/130874892
版权

Hadoop集群启动从节点没有DataNode
我的是因为主从节点clusterID不一致。
主节点有两部分的clusterID要一致。首先第一个
在这里插入图片描述
VERSION打开显示的clusterID要和nn里面的VERSION的clusterID
其次第二个
在这里插入图片描述
在这里插入图片描述
将这两个改为一致后，从节点的clusterID也改为一致。
一个从节点改一处。打开VERSION 找到clusterID改为一致即可

在这里插入图片描述
从节点nn文件夹是空的无需改
在这里插入图片描述

一键启动hdfs集群

start-dfs.sh

一键关闭hdfs集群

stop-dfs.sh

blueiaaa
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3794
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
Hadoop启动集群子节点没有DataNode节点解决方法
热门推荐
m0_58945994的博客
12-11 1万+
我在启动Hadoop集群的时候发现没有DataNode节点，于是我去查看了一下日志（日志在自己的hadoop目录下）：
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
weixin_58515213的博客
04-16 7779
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
HDFS主节点DataNode正常启动但是从节点jps没有DataNode进程[已解决]
最新发布
haj6468的博客
04-17 1193
1.首先可能是权限问题，之前有不小心用root用户启动过Hadoop，所以得排查Hadoop，安装路径的权限是不是hadoop用户的。包括/data/dn /data/nm。③data/nn/current ，/data/dn/current下的VERSION文件的clusterID不一致！查看/etc/host 文件里面是否设置好了代理，和第一点的wokers文件是否一致，每个节点都得看看。2.权限问题排查之后，查看日志，一般在hadoop/logs文件夹下，每个节点都看一下。
解决Hadoop完全分布式集群中从节点jps没有datanode节点问题
木子一个Lee的博客
10-23 8704
也是进入这个目录，只不过namenode中的name文件在datanode是变为了data文件，即/tmp/dfs/data/current。当用start-dfs.sh和start-yarn.sh后，在slave节点(从节点)中用jps命令查看进程。有时候可能发现没有Datanode，即只有两项(第一项和最后一项)。clusterID替换掉datanode的clusterID就可以了。然后打开VERSION，把namenode的。打开，记录namedode下的。
解决启动hadoop后jps没有从节点没有DataNode问题
qq_46085912的博客
12-23 3886
进入hadoop安装目录找到core-site.xml（/usr/local/soft/hadoop-3.2.0/etc/hadoop/）并查看 找到： <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> 去到 /data/hadoop/目录下进入/data/hadoop/hdfs/
hadoop集群启动唯独缺少DataNode进程的解决方法
m0_74119720的博客
08-02 4655
Hadoop缺少datanode进程
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保...如果你对腾讯云上的Hadoop集群、基于ZooKeeper的高可用集群搭建，或者使用Docker部署Hadoop环境感兴趣，可以查阅相关教程，以获取更深入的指导。
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
利用ansible 自动 安装Hadoop 集群
05-10
在该目录下，创建`hosts`文件，列出所有Hadoop集群节点的IP地址或主机名，按照角色进行分组，例如，`namenode`、`datanode`等。 3. **编写Playbook**：创建`site.yml`或`hadoop-cluster.yml`文件，这是Ansible的...
hadoop集群一键启动、关闭
10-15
本文将深入探讨如何通过自定义脚本来实现Hadoop集群的一键启动、关闭功能，以及涉及的相关技术。 Hadoop是Apache软件基金会开发的一个开源框架，主要用于存储和处理大规模数据。其核心组件包括HDFS（Hadoop ...
hadoop动态增加和删除节点方法介绍
09-30
在Hadoop集群中增加新的DataNode节点，可以提高集群的数据存储和处理能力。以下是增加DataNode的步骤： 1. **准备新节点**：首先，确保新节点的操作系统与集群中的其他节点一致，例如CentOS 6.7 x64。安装相同版本...
启动hadoop集群全部服务时没有datanode服务
APguantou的博客
04-04 1758
我在安装时将hadoop安装在 /software/hadoop/hadoopducument/ 下 ，并将安装包改名为HADOOP。如图所示，开启时datanode可以正常开启，其它服务都正常，唯独没有datanode，关闭时显示。今天在启动hadoop集群时，开启全部服务后，用jps检测，发现没有datanode服务。1.编辑hadoop目录下的/etc/hadoop/core-site.xml。2.切换至上述查找到的路径中,并查看该目录下的内容。可能的原因是hadoop主节点格式化次数过多。
HADOOP 启动后没有datanode解决办法（适用于所有节点datanode）
FBFBSDF的博客
09-21 2747
hadoop集群datanode无法启动
启动 Hadoop 后没有 dataNode 进程
在人间负债^
11-22 3344
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
hadoop分布式集群启动，从节点datanode消失
weixin_45955747的博客
03-12 3210
datanode消失
【大数据分析与应用】Hadoop: 启动后发现没有DataNode
zombotany的博客
10-16 2350
DataNode的ClusterID与NameNode的ClusterID不完全一致。
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2715
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop集群启动后，主节点能启动namenode，从节点无法启动Datanode
qq_48669456的博客
09-26 2303
问题描述： 环境都配置好，第一次格式化后，启动集群，输入jps查看启动的节点是没有问题的。主从节点都正常。 但是不正常掉线重新登陆以后，主节点开始报错，ERROR: ld.so: object '/usr/local/lib/pscan.so' from /etc/ld.so.preload canno在网上找了一个方法，解决了主节点报错。 但是第二次启动集群，发现从节点的DataNode都没有启动。 第一个问题是hosts配置文件更改了。开始配置的时候自己的主机名映射到127.0.0...
hadoop集群启动没有datanode
05-13
如果你的Hadoop集群启动时没有DataNode，则可能有以下几个原因： 1. DataNode守护进程没有启动 - 请检查DataNode守护进程是否已启动。可以通过在DataNode主机上运行以下命令来检查DataNode守护进程是否正在运行： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值