hdfs datanode无法开启

最新推荐文章于 2024-02-04 13:51:00 发布
最新推荐文章于 2024-02-04 13:51:00 发布
阅读量2.3k 收藏 14
点赞数 3
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Moreinterest/article/details/105318823
版权

运行start-all.sh出现如下提示：
WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.

在这里插入图片描述执行jps,会发现datanode没有运行
在这里插入图片描述查看datanode日志
在这里插入图片描述命令行模式下，输入/cluster,查找“cluster”，如下图，发现namenode和datanode的clusterID不同。当hdfs要开启datanode时，会检测和namenode的clusterID是否相同，不相同则无法运行。
在这里插入图片描述为什么namenode和datanode的clusterID不同呢？因为在搭建伪Hadoop集群的时候，运行命令：hdfs namenode -format
进行格式化或者说初始化namenode。namenode随机产生了和datanode不一样的clusterID。
解决问题的办法就是手动修改datanode的clusterID，和namenode保持一致。首先找到配置文件hdfs-site.xml在这里插入图片描述在里面找到datanode的配置路径
在这里插入图片描述在路径下，进入current文件夹，vim进入VERSION
在这里插入图片描述在这里插入图片描述可以看到看到，图中的clusterID和data日志中相同，将clusterID改为上面日志中，namenode的clusterID,保存退出。
运行start-dfs.sh重启hdfs。运行jps：
在这里插入图片描述如图，DataNode可以运行啦！

柯基毛
关注
hdfs --daemon start datanode指令介绍
CSDN 精品推荐
03-07 2571
命令时，必须确保HDFS环境已正确配置，并且当前用户具有足够的权限以启动HDFS守护进程。同时，需要注意在启动数据节点之前，必须先启动HDFS的。在HDFS中，数据节点是存储HDFS数据块的物理节点。数据节点存储和管理数据块，并向客户端和其他数据节点提供读写操作。命令来查看当前HDFS集群中的节点信息，包括数据节点的数量、容量和使用情况等。命令，可以启动一个数据节点守护进程，以便在HDFS集群中加入一个新的数据节点。，以确保整个HDFS集群正常运行。命令来停止数据节点守护进程。启动数据节点后，可以使用。
Hadoop系列 (八)：Hbase搭建
Eric Ray的博客
10-21 2065
Hbase搭建及shell简介
配置hadoop集群常见报错汇总
Field_Yang的博客
07-19 9554
配置hadoop集群常见报错汇总1、使用hdfs namenode -format 格式化报错找不到JAVAHOME 该问题只需在对应的窗口导入JAVAHOME即可，注意，此处为对应环境安装的JDK路径，笔者为/usr/local/java [hadoop@hadoop0 var]$ export JAVA_HOME=/usr/local/java 鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/hadoop-env.sh 添加如下语句，可以免去这个麻烦 expo
hive启动报错
minyanping的专栏
04-23 5256
1. hive启动时，报错 Caused by: java.net.NoRouteToHostException: No Route to Host from slave1/192.168.56.102 to master:9000 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由; Fo...
HadoopYARN学习记录（YARN 的安装部署和管理）
wenqi
10-30 732
实验环境：linux操作系统，Hadoop环境 1.YARN的安装 Hadoop2.0以后自带yarn，所以使用yarn进行一个词频统计的demo 2.启动hadoop 输入以下命令，回车，进入/apps/hadoop/sbin目录 cd /apps/hadoop/sbin 回车后显示如下 root:/apps/hadoop/sbin$ 在当前目录下输入以下命令，回车，启动hadoop ./start-all.sh 启动正常显示如下 WARNING: Attempting to start al.
安装Hadoop3.2.1（很多坑）
爱听许嵩歌的博客
07-08 5454
安装Hadoop3.2.1 从官网下载hadoop包,hadoop-3.2.1.tar.gz ,342.56M 931KB/s 用时 8m 19s $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 解压,路径为/home/wangjie/hadoop/hadoop-3.2.1 $ tar -zxvf hadoop-3.2.1.tar.gz 设置环境变量 $ vim /et
关于hadoop目录下与spark目录下重名文件启动冲突的问题
qq_44873033的博客
08-16 170
同名文件冲突
Hadoop 3.0.0-alpha2安装(一)
weixin_34113237的博客
04-01 479
1、集群部署概述1.1 Hadoop简介 研发要做数据挖掘统计，需要Hadoop环境，便开始了本次安装测试，仅仅使用了3台虚拟机做测试工作。简介……此处省略好多……，可自行查找…… 从你找到的内容可以总结看到，NameNode和JobTracker负责分派任务，DataNode和TaskTracker负责数据计算和存储。这样集群中可以有一台NameNode+J...
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
最新发布
赵英超的博客
02-04 2173
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
HDFS Datanode功能
热门推荐
Ele_sorriu的博客
10-12 2万+
Datanode功能 目标：掌握DataNode有哪些主要的功能 文件的各个 block 的具体存储管理由 datanode 节点承担。每一个 block 都可以在多个datanode 上。Datanode 需要定时向 Namenode 汇报自己持有的 block信息。 存储多个副本（副本数量也可以通过参数设置 dfs.replication，默认是 3）。 向Namenode结点报告状态。每个Datanode结点会周期性地向Namenode发送心跳信号和文件块状态报告。 心跳是每3秒一次，心跳返
hdfs datanode 清除回收站的命令
08-03
1. 首先，我们需要进入到运行HDFS的服务器上，并开启Hadoop的命令行模式。 2. 然后，使用以下命令来执行清除回收站的操作： ``` hdfs dfs -expunge ``` 3. 执行上述命令后，HDFS会立即清除回收站中的所有文件和...
数据块分布大揭秘：HDFS DataNode存储细节的不传之谜
Hadoop Distributed File System (HDFS) DataNode 是 Hadoop 分布式文件系统的关键组成部分，主要负责存储实际的数据块。DataNode 在 HDFS 中分布在整个集群，承载着数据读写的实际工作。了解 DataNode 的结构与功能...
Hadoop伪分布式模式安装
Chenpeixin的专栏
01-19 1576
环境信息操作系统：Ubuntu 17.04 64bit安装步骤1. 安装配置JDK下载JDK，链接：jdk-8u161-linux-x64.tar.gz1.1 复制到/opt/bigdata/目录下，解压cp ~/Downloads/jdk-8u161-linux-x64.tar.gz /opt/bigdata/ cd /opt/bigdata/ tar -xvf jdk-8u161-linux-
Hadoop安装与配置（Mac）
撬个地球
04-16 1982
1. 安装环境     macOS High Sierra     版本 10.13.3    目标 安装Hadoop-3.1.0(伪分布)2. 安装jdk     安装Java环境     并配置变量JAVA_HOME和PATH     我的Java version "1.8.0_162"3. ssh设置      在终端输入命令ssh localhost，可能遇到如下问题ssh: connec...
Hadoop启动过程中执行start-all.sh，后台发生了什么
红叶幽香的博客
11-15 1万+
Hadoop启动执行start-all.sh，后台发生了什么 start-all.sh脚本 , start-dfs.sh,start-yarn.sh, hdfs, hadoop start-daemons.sh
Ubuntu 20.04.1 LTS安装Hadoop3.3.0和hive3.1.2
hxtog的博客
10-06 3440
大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1 大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。 环境准备 电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8) Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址 软件准备 安装ssh-server :~$ sudo apt install openssh-server 检查ssh是否安装成功 :~$ ssh loc
Hadoop3集群搭建之——安装hadoop，配置环境
anfuyi5792的博客
04-24 281
　　接上篇：Hadoop3集群搭建之——虚拟机安装 　　下篇：Hadoop3集群搭建之——配置ntp服务 　　　　Hadoop3集群搭建之——hive安装 　　　　Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了，现在开始配置环境，安装hadoop 注：hadoop集群最少需要三台机，因为hdfs副本数最少为3，单机不算 　　我搭了三台机 ...
$HADOOP_HOME/sbin/start-all.sh WARNING: Attempting to start all Apache Hadoop daemons as ys in 10 seconds. WARNING: This is not a recommended production deployment configuration. WARNING: Use CTRL-C to abort. Starting namenodes on [hadoop102] hadoop102: namenode is running as process 47117. Stop it first. Starting datanodes hadoop102: datanode is running as process 47344. Stop it first. Starting secondary namenodes [hadoop104] hadoop104: secondarynamenode is running as process 45483. Stop it first. Starting resourcemanager Starting nodemanagers hadoop104: nodemanager is running as process 45737. Stop it first. hadoop102: nodemanager is running as process 48058. Stop it first. hadoop103: nodemanager is running as process 45465. Stop it fir
06-08
根据您提供的信息，启动Hadoop集群时出现了一些警告和错误。具体来说，警告信息指出您正在启动所有的Hadoop守护进程，这不是一种推荐的生产部署配置方式，并且建议您使用CTRL-C来中止启动过程。此外，错误信息提示您需要停止正在运行的某些Hadoop守护进程，包括namenode、datanode、secondarynamenode和nodemanager。 根据错误信息，您需要先停止正在运行的Hadoop守护进程，然后再重新启动它们。您可以使用以下命令来停止Hadoop守护进程： ``` $HADOOP_HOME/sbin/stop-all.sh ``` 该命令将停止所有的Hadoop守护进程。在停止之后，您可以使用以下命令来启动Hadoop守护进程： ``` $HADOOP_HOME/sbin/start-all.sh ``` 该命令将启动所有的Hadoop守护进程，包括NameNode、SecondaryNameNode和DataNode。在启动过程中，您可以使用以下命令来检查Hadoop守护进程的状态： - `jps`：列出所有正在运行的Java进程。 - `hdfs dfsadmin -report`：列出HDFS的状态报告。 - `yarn node -list`：列出YARN节点的状态。 如果所有的Hadoop守护进程都成功启动，则您的Hadoop集群已经成功启动，可以开始使用了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值