【Hadoop】关于hadoop在./start-all.sh指令启动后子节点没有datanode进程的解决办法

最新推荐文章于 2022-07-21 12:59:01 发布

Cheryl_l

最新推荐文章于 2022-07-21 12:59:01 发布

阅读量7.8k

点赞数 3

分类专栏： Hadoop

本文链接：https://blog.csdn.net/Cheryl_l/article/details/79497484

版权

Hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

问题描述：

在sbin下主节点操作./start-all.sh命令后，正常启动hadoop集群。但是通过jps指令查看进程时，发现子节点没有datanode进程。

解决办法：

在sbin下发起./stop-all.sh关闭集群
删除存放hdfs数据块的文件夹(hadoop/tmp/)，然后重建该文件夹
删除hadoop下的日志文件logs
在bin文件夹下./hadoop namenode -format格式化hadoop
重启hadoop集群

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Cheryl_l

关注关注

3
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hadoop-3.1.3.tar.gz

12-06

《Hadoop 3.1.3在CentOS7上的安装与配置详解》 Hadoop，一个由Apache基金会所开发的分布式系统基础架构，是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本，旨在帮助...

Hadoop启动集群子节点没有DataNode节点解决方法

热门推荐

m0_58945994的博客

12-11

1万+

我在启动Hadoop集群的时候发现没有DataNode节点，于是我去查看了一下日志（日志在自己的hadoop目录下）：

参与评论您还未登录，请先登录后发表或查看评论

关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题

m0_58676712的博客

07-21

3057

找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。

hadoop主节点上的datanode可以启动，子节点上的datanode无法启动（已解决，ubuntu18.04，hadoop3.1.1版本）

nageaixiaodenanhai的博客

12-29

2841

这个问题让我花了很长时间才解决，在这里记录一下踩过的坑。网上的很多办法都是解决Datanode各个节点都无法启动的办法，所以尝试了很多都不管用。解决此问题步骤为: 1. 先执行stop-all.sh暂停所有服务 2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹，DataNode存放数据块的位置)、 logs 文件夹删除，然后重新...

Hadoop 主机sbin/start-all.sh后jps主机有namenode，从机jps没有datanode

Cguoer的博客

03-30

2891

Hadoop 主机sbin/start-all.sh后jps主机有namenode，从机jps没有datanode

Hadoop在配置完全分布式中没有在子节点中出现DataNode

yll1ang的博客

05-18

1941

这可能是之前配置的环境的DataNode的ID和现在的冲突了。查看log日志可以看出： 解决办法：删除$rm -r tmp重新在主节点上格式化操作。

hadoop-2.7.4.tar.gz

07-08

9. **安装与启动**：`hadoop-2.7.4`目录下的`bin`目录包含启动和停止Hadoop服务的脚本，如`start-dfs.sh`、`start-yarn.sh`和`stop-all.sh`。安装Hadoop时，需要正确配置环境变量，并根据实际硬件环境调整配置文件。...

hadoop插件apache-hadoop-3.1.0-winutils-master.zip

最新发布

12-17

5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...

hadoop-3.2.2.tar.gz

09-27

8. **启动与使用**：启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`，然后可以使用Hadoop的命令行工具（如hadoop fs、hadoop jar等）或Hadoop API进行数据处理。 9. **优化与监控**：根据实际需求和资源状况对...

hadoop-2.6.0 windows版本，bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin

03-28

- **启动和检查服务**：通过`start-all.sh`启动Hadoop服务，并使用jps命令检查是否所有进程（如DataNode、NameNode、ResourceManager、NodeManager）都在运行。 - **测试HDFS**：可以创建一个文件并将其上传到HDFS...

启动集群之后没有datanode子节点进程，本来搭建好了，反复格式化之后，在slave子节点上jps查看进程发现没有datanode了，试过删除hadoop安装包里tmp文件夹中所有文件，还是不行

MUHUAAAAAA的博客

04-14

3175

hadoop环境搭建之namenode正常，datanode没启动

hadoop集群启动（start-all.sh/start-dfs.sh），datanode无法启动/子节点机器jps无法显示datanode，解决方向：

littlefly00034的博客

05-18

1564

注意检查日志信息，英文又不是读不懂，基本可以明确问题方向！ 1. 在网络配置没有问题，没有报错，master结点jps能够正常启动，且有datanode显示，但是子节点未成为datanode start-all.sh或是start-dfs.sh，会产生简单的日志信息： $机器地址(此处应该为master)$，starting namenode...... $机器地址(此处应为slave机器名称)$，starting datanode...... ...... 注意观察$机器地址$是否为指定sla

Hadoop集群启动，指令start-all.sh 但slave节点没有datanode

PJ填坑手记

05-30

4228

场景在对集群进行启动时，使用指令start-all 但是slave节点上的datanode没有启动。 Expect Result：在HadoopMaster终端上执行JPS指令，显示四个进程：在HadoopSlave终端上执行JPS指令，显示三个进程：而现在启动后，发现在HadoopSlave终端上只有2个进程：原因原因如网上所说，是因为进行了多次格式化指令： hdfs namenode -format 每次格式化都会重新你创建一个namenodeId，而在默认情况下tmp/dfs/dat

hadoop启动start-all.sh,slave节点没有datanode的问题

long085的博客

11-14

1万+

启动master节点：start-all.sh 如果安装没问题jsp进程后出现： master有四个进程：Jps、NameNode、ResourceManager、SecondaryNameNode slave节点进程有：Jps、DataNode、NodeManager 但是我们频繁的修改配置文件执行：hdfs namenode -format，在slave节点就不会出现DataNode进

start-all.sh启动HDFS，datanode没有启动

weixin_30690833的博客

09-20

207

第一次格式化dfs后，启动并使用hadoop，之后如果再次重新执行了格式化（hdfs namenode -format) start-all.sh启动时就会遇到datanode无法启动的问题，通常情况是datanode的clusterID 和 namenode的clusterID 经过再次格式化后已经不匹配解决方案：修改datanode里VERSION文件的clusterID保持和na...

执行start-all.sh后，datanode没有启动

panguoyuan的专栏

08-20

5811

2014-08-19 18:43:42,751 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2014-08-19 18:43:42,752 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting 2014-08-19 1

hadoop 格式化后没有datanode节点

mr_liM的博客

07-13

3461

hadoop在子节点上没有datanode进程经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1 解决办法： 1.先停止Hadoop，bin/stop-all.sh 2.三台机器都把hadoop1.2.1/tmp下所有文件删除

【渝粤教育】广东开放大学 hadoop数据管理形成性考核

渝粤题库

11-29

654

选择题题目：Hadoop的Hive定义了简单的什么语言？（）题目：Zookeeper是什么下的一个子项目？（）题目：Hive元数据的集中存放地是？（）题目：Zookeeper是发表于哪一年？（）题目：Hive中的所有数据都存储在哪里？（）题目：ZooKeeper的核心是源自广播，这个机制保障了各个server之间的同步，实现这个机制的协议叫做什么协议？（）题目：下列不是Zookeeperd特点是？（）题目：进入Hive Shell环境的命令是？（）题目：启动MySQL的命令

hadoop遇到的问题即解决方法

bigmeteor的博客

06-24

2071

一、#启动hadoop后，使用jps出现xxxx jps ，是因为集群没有启动，需要执行 start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver 二、启动hadoop之后，使用jps查看，hadoop01服务器中没有namenode，是由于之前格式化太多导致的解决方法：首先停止hadoop的所有进程：stop-all.sh ...

hadoop脚本start-all.sh启动后有哪些进程

07-11

hadoop脚本start-all.sh启动后会启动以下进程： 1. NameNode：Hadoop分布式文件系统的主节点，负责管理文件系统的命名空间和访问控制。 2. DataNode：Hadoop分布式文件系统的数据节点，存储和管理实际的数据块。 3. SecondaryNameNode：协助NameNode进行日志合并，提供NameNode的备份。 4. ResourceManager：YARN的主节点，负责资源的分配和调度。 5. NodeManager：YARN的工作节点，负责接收ResourceManager的指令，执行任务，并报告任务状态。 6. JobHistoryServer：用于存储和提供已完成作业的历史信息。 7. MapReduce任务：根据需要启动的MapReduce作业数量，会启动相应数量的Map任务和Reduce任务