hadoop在阿里云上主节点没有datanode进程

已于 2022-05-23 19:26:39 修改
阅读量675 收藏 7
点赞数 4
分类专栏： hadoop 工具使用 文章标签： hadoop hdfs big data
于 2022-05-23 19:25:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41806489/article/details/124933087
版权

问题描述

用三台服务器组成了一个hadoop集群。我暂且简单的记作master,slave1,salve2。

配置和初始化都没有任何问题。在最后用行start-dfs.sh （后来用start-all.sh启动）命令，发现slave1和slave2上都有datanode进程，但唯独master上没有datanode进程，甚至logs下都没有datanode的日志。

一句离谱加挖槽。

解决办法

试了很多很多种办法，更新了所有的配置文件，发现只要再单独的启动一下datanode就行了。。。。。

 hadoop-daemon.sh start datanode

我是真的服气，为什么它不会随着hdfs一起启动了？whatever,先用着吧。

效果验证

在下面的文件夹下找个example验证：
在这里插入图片描述
运行成功

在这里插入图片描述

摩天崖FuJunWANG
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5551
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3019
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
hadoop集群搭建，主节点没有DataNode进程
huting1990的博客
11-30 2438
hadoop集群搭建，主节点没有DataNode进程的原因记录 在设置 主节点服务器的 /etc/hosts 不小心把 127.0.0.1 localhost.localdomain localhost 127.0.0.1 localhost4.localdomain4 localhost4 这两行全删掉了，导致DataNode启动报错： HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use:
解决Hadoop集群中（主，从）节点上无datanode的问题
wxc1207的博客
03-12 8344
1.关闭集群 stop-all.sh 2.删除日志和临时文件 进入hadoop的根目录 删除logs和tmp rm -rf logs rm -rf tmp 建立logs和tmp mkdir logs mkdir tmp 6
真实HDFS集群启动后master的jps没有DataNode
微电子学与固体电子学-俞驰
04-27 2032
环境: 台式机和笔记本搭建的真实集群 故障： 笔记本和台式机组建的集群，在仔细核对各种教程后，发现master的jps中总是没有datanode 排查思路: /home/appleyuchi/bigdata/hadoop-2.7.7/sbin/start-all.sh内容为: 提到了start-all.sh #!/usr/bin/env bash # Licensed to...
关于hadoop集群开启后，datanode为0个，找不到datanode的解决方法
weixin_54628931的博客
03-26 4113
这个问题也卡住我好几天，通过百度和自己摸索，最终找到问题的答案，如果有不对的地方，请大神们批评指正。 相信各位已经配置好了hdfs-site.xml文件，也运行过hdfs namenode -format命令，但是还是没有找到datanode。可以尝试以下步骤： （1）进入到vi /opt/rh/hadoop-3.2.2/etc/hadoop/hdfs-site.xml 打开这个配置文件，查看你的name和data文件夹的地方。 随后进入到这两个文件夹下，使用rm -rf *命令删除文件夹...
Hadoop没有namenode/datanode进程
weixin_43411977的博客
09-18 2732
问题描述 前几天新增了两个节点，一直都没问题，今天突然出了问题。 刚开始是两个新增的节点上没有datanode进程，nodemanager还有。 重启集群后，成了所有的节点（包括master）都没有datanode。 之后把hadoop下的hdfs文件夹删除重建，所有的节点上都有了datanode，但是master没了namenode。 先后尝试的方法有： 1.单纯格式化namenode。对我的情...
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4304
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程
热门推荐
martinniee
01-11 1万+
问题描述 最近因为想修改一下主机名，用户名什么的 但是一开始没有注意到主机名和用户名对于Hadoop服务的影响 导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了 之所以出错，归根结底还是对于原理不熟 解决方案 首先要知道Linux下的主机名和用户名是什么，如何查看 命令行终端下 格式 : 用户名@主机
HADOOP 启动后没有datanode解决办法（适用于所有节点datanode）
FBFBSDF的博客
09-21 2767
hadoop集群datanode无法启动
出错记录：hadoop 主节点没有datanode，spark报错：There are 0 datanode(s) running and 1
qq_43551883的博客
10-14 784
大数据课实验1的踩坑记录
hadoop启动集群后，没有datanode进程解决办法
最新发布
ShengFangZaiXiaMo的博客
04-23 238
1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程，如果有，kill -9 进程id。4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh。3、重新格式化 hdfs namenode -format。5、查看是否有DataNode，jps。
hadoop在子节点上没有datanode进程
weixin_34257076的博客
05-17 1628
  经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1个NameNode   2个DataNode三台机器，Hadoop为1.2.1解决办法：   1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/*3.重新格式化DFS  bi...
hadoop集群启动唯独缺少DataNode进程的解决方法
m0_74119720的博客
08-02 4675
Hadoop缺少datanode进程
Hadoop集群切换伪分布式时Master上jps没有Datanode解决方法
weixin_55501516的博客
11-01 2589
问题：Hadoop的五个分布式环境文件都修改好了，但在Master节点上jps的时候不出现datanode，格式化namenode ：hadoop namenode -format 也没有效果。 分析：在之前配置分布式环境文件的时候产生过一个hadoop/tmp 日志文件，需要删除 解决方法：关掉Hadoop进程：stop-dfs.sh 或关闭所有进程 stop-all.sh ,进入hadoop安装路径把整个tmp文件夹删掉：rm -rf /usr/local/hadoop/tmp，新建一个tmp文件夹
关于多次格式化后启动Hadoop后主节点或从主点没有DataNode的问题
weixin_45871142的博客
03-23 3765
1,找到你配置的hdfs-size.xml文件 如图 然后打开 cd /usr/local/hadoop-3.2.0/data/name gedit /current/VERSION 找到 我的是 clusterID=CID-4eb876d0-d4c6-4ccd-8f93-b39c6645108d 这个id然后复制这一段（这个会有差异） 然后再返回 再进入 cd /usr/local/hadoop-3.2.0/data/data/current gedit VERSION 把复制的id 替换原来的 然后报
Hadoop Yarn 集群 从节点的data node没有启动成功
xfei.zhang
01-17 1726
jps发现主节点的datanode启动成功，但是次节点的datanode没有启动成功 发现log如下： the: ssh: connect to host the port 22: Connection timed out OpenJDK: ssh: connect to host openjdk port 22: Connection timed out tizen@datanode's
启动Hadoop集群时没有启动datenode怎么解决？
G55331337547的博客
11-09 3258
我在用hadoop namenode -format 将主节点的NameNode进行格式化，并且用start-all.sh 启动集群后，发现datanode节点并没有启动，导致我在进行文件操作时报错。
Hadoop Yarn集群 主节点的 data node没有启动成功
xfei.zhang
01-17 2829
在启动hadoop集群的时候，jps发现主节点的data node没有启动。 首先查看log gedit /usr/local/hadoop/logs/hadoop-tizen-datanode-samsung.log 如下： capacity-scheduler/*.jar STARTUP_MSG:   build = https://git-wip-us.apache.org/r
在Ubuntu上配置多节点Hadoop集群
- `conf/slaves` 文件：同样仅在主节点上配置，列出所有的数据节点（DataNode）和任务调度器（TaskTracker）。 - `-site.xml` 文件：包括 `hdfs-site.xml` 和 `mapred-site.xml`，在所有机器上都需要配置，以指定...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值