linux hadoop datanode节点没有启动问题

已于 2023-07-05 10:49:48 修改
阅读量2k 收藏 1
点赞数 2
分类专栏： linux 文章标签： linux hadoop eclipse
于 2019-07-01 16:04:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010833154/article/details/94394887
版权

1、查看hadoop启动情况

[root@hbase-master sbin]# jps
5302 NameNode
5642 SecondaryNameNode
5898 ResourceManager
6077 NodeManager
6382 Jps

发现没有DataNode，则进行如下操作

2、查看启动日志：tail -f hadoop-root-datanode-hbase-master.log

3、将上图路径下的文件夹current下VERSION中的clusterID替换成上图namenode 的clusterID

[root@hbase-master current]# vi /tmp/hadoop-root/dfs/data/current/VERSION 
#Mon Jul 01 15:53:07 CST 2019
storageID=DS-44f18821-dffd-4379-8d8e-bae6acd29dfd
clusterID=CID-293dc339-80af-42c5-a021-f59d7cdb3b48
cTime=0
datanodeUuid=861ec994-4244-47af-9332-2d68cda7b97a
storageType=DATA_NODE
layoutVersion=-57

4、然后重新启动hadoop即可

love_燕子
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据 hadoop-3.1.3 linux 安装包
06-25
接着，启动Hadoop的各个服务，包括DataNode、NameNode、ResourceManager、NodeManager等。可以使用`start-dfs.sh`和`start-yarn.sh`脚本启动它们。为了方便日常管理，还可以启用Hadoop的守护进程（daemon）服务。 ...
Linux中安装Hadoop全分布部署
03-19
初始化Hadoop集群通常包括格式化NameNode（`hdfs namenode -format`），启动Hadoop服务（如`start-dfs.sh`和`start-yarn.sh`），并使用`jps`命令检查各个节点上的进程是否正常运行，如NameNode、DataNode、...
群起集群 DataNode 没有启动的解决方法
weixin_45942827的博客
07-08 2472
群起集群 DataNode 没有启动的解决方法
hadoop集群启动唯独缺少DataNode进程的解决方法
2202_75961842的博客
05-13 687
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
在linux下hadoop集群 DataNode不能启动的情况
11-11 434
注意：服务器的时间需要统一。正常情况下是不允许多次格式化的。这只是在测试环境上才可以这样玩。生产环境需要把VERSION里面的数据拷贝到datanode里面.正常启动后是这样的。最后重启把namenode和datanode里面数据删除掉。重新格式化，再启动hadoop集群，就解决了。这里也没有节点数据，而是空的，这个图是正常的。找了很久原因，发现是datanode没有启动。一、格式化文件之后，重新启动hadoop集群，发现 DataNode不能启动了。
linux节点启动不成功,Hadoop 启动节点Datanode失败解决
weixin_39718460的博客
05-15 444
当我动态添加一个Hadoop从节点的之后，出现了一个问题：[root@hadoop current]#hadoop-daemon.sh start datanodestarting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out[root@hadoop~]#jps...
启动Hadoop集群时DataNode节点启动失败原因总结
weixin_42603182的博客
12-30 3120
背景 启动hadoop集群时，在NameNode与SecondaryNode成功启动的同时，DataNode启动失败，本文章将持续更新，总结DataNode节点启动可能的失败原因。 操作环境：CentOS8,hadoop-2.7.5 总结 1.问题：报错 No route to host 问题存在可能原因：DataNode所在主机未联网 解决方案：作者这里在node02,node03主机使用了ifconfig命令，发现两主机ens33没有启动（没有显示ip地址）。使用命令 sudo dhclient e
HADOOP 启动后没有datanode解决办法（适用于所有节点datanode）
FBFBSDF的博客
09-21 2759
hadoop集群datanode无法启动
【Hadoop】DataNode节点下线速度优化
康师傅没有眼泪
12-31 2321
具体上面参数的值设定的多少，取决于集群的规模和集群的配置，不能同一而论。几十T， 甚至上百T， 上百万block的节点掉线，会出现大量的RPC风暴，在我们存在大量小文件的集群对namenode是很大的挑战，不仅影响生产性能，也会存在很大的隐患，尤其是对于带宽有限制瓶颈的集群。然后namenode根据该节点的ip，查出该节点所有的blockid，以及对应副本所在机器，通过心跳机制安排数据复制，这时候数据的复制，数据源不在是掉线节点，而是多个副本之一所在的节点，同样这时候副本复制也遵循机架感知，副本搁置策略。
启动Hadoop后 没有DataNode进程 的解决方法
热门推荐
qq_45069279的博客
12-22 9万+
介绍怎样解决执行命令start-all.sh启动Hadoop时 没有DataNode进程 这个问题。
hadoop启动后没有datanode的可能问题解决
weixin_56023591的博客
07-28 590
2.在hadoopdata文件（配置文件时设置的路径）里的data和name文件里的VERSION的clusterID要一致。1.更改~/.bash_profile或者profile文件后没进行source导致路径没有改变。
解决启动hadoop后datanode没有启动的问题
m0_49405757的博客
11-17 1278
解决开启hadoop后datanode没有启动 查看机器上记录的datanode的日志文件，查看错误信息 2021-11-17 13:50:03,722 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/hadoop/hadoop/dfs/data/ java.io.IOException: Incompatible clusterIDs in /usr/had
Linux 系统下 Hadoop 安装配置教程.md
最新发布
06-04
- **检查Java进程**：使用`jps`命令来检查Hadoop的Java进程，确认NameNode、DataNode、ResourceManager等核心组件是否成功启动。这是验证Hadoop安装是否成功的常用方法之一。 #### 访问WebUI - **WebUI**：通过Web...
在linux环境安装hadoop集群
03-16
在 Linux 环境中安装 Hadoop 集群需要创建用户和组、配置主机名、配置 SSH 信任、安装 Hadoop、配置 Hadoop 环境、启动 Hadoop 集群和验证 Hadoop 集群。只有按照正确的步骤安装和配置 Hadoop 集群，才能确保大数据...
linux nmap安装和使用
恨_别离的博客
06-25 5834
1、安装 yum install nmap 2、使用 [root@liu ~]# nmap 192.168.252.9 -p 6379 Starting Nmap 5.51 ( http://nmap.org ) at 2019-06-25 17:27 CST Nmap scan report for 192.168.252.9 Host is up (0.00039s latency...
rocketmq管理界面安装
恨_别离的博客
01-09 5327
rocketmq管理界面安装 rocketmq有一个管理界面叫incubator-rocketmq-externals；本管理界面只适用于案例捐献给Apache后的版本 1、下载包：https://github.com/apache/rocketmq-externals 2、修改配置文件：rocketmq-externals-master/rocketmq-console/src/m...
linux安装rocketmq
恨_别离的博客
01-04 5072
1、下载rocketmq：https://github.com/apache/rocketmq/ 2、需要安装，见本菜鸟其它文章 64bit OS, Linux/Unix/Mac is recommended;64bit JDK 1.8+;Maven 3.2.xGit 3、构建 unzip rocketmq-all-4.2.0-source-release.zip cd roc
nginx实现TCP协议配置
恨_别离的博客
05-10 4497
在工作工作中有时会使用到TCP协议进行数据交互，通过nginx进行反向代理； 一、重新安装nginx 请参考本人安装nginx文章、 在安装的时候编译命令增加支持TCP协议的stream模块即可 ./configure --prefix=/usr/local/nginx --with-stream 二、如果nginx已经在使用中则 首先查询当前nginx执行的编译命令/usr/local/nginx/sbin/nginx -V(注意V是大写) -bash-4.2# /usr/local/n
Linux系统怎么启动Hadoop服务或者目标节点
04-29
要启动Hadoop服务或目标节点，需要执行以下步骤： 1. 首先确保已经安装好了Hadoop并且配置好了环境变量。 2. 进入Hadoop的安装目录，找到sbin目录。 3. 在sbin目录下通过执行以下命令启动Hadoop服务： ``` ./...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值