启动hadoop成功后，再次启动datanode 和namenode都没有 但有nodeManager

最新推荐文章于 2022-12-28 17:06:06 发布
最新推荐文章于 2022-12-28 17:06:06 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 工作fighting spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_NEU_Lee/article/details/97111281
版权
大数据 同时被 3 个专栏收录
20 篇文章 0 订阅
订阅专栏
spark
16 篇文章 0 订阅
订阅专栏
工作fighting
13 篇文章 0 订阅
订阅专栏

安装hadoop  启动后发现成功   但之后因为某些原因重新启动   发现重新启动不起来了

 datanode和namenode都没有了   怎么找也找不到    但可以看到nodeManager还在  这是个什么幺蛾子

我重新删除log  tmp文件夹  然后format   啊哈  没有一点用

最后发现后台进程中JVM占用了50010端口   这我就知道了  因为之前没有合理的关闭hadoop  导致后台的hadoop也就是JVM管理的部分还是没有删除     这种情况下kill掉进程  然后就能重启hadoop了    

 

唉   给大家一个调试bug的万能方法吧 ：重启万岁！！！（一般重启都能解决80%的问题） 哈哈哈

IT_NEU_Lee
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
vagrant-hadoop-spark:使用 Hadoop 和 Spark 启动集群虚拟机的 Vagrant 项目
06-09
使用 Hadoop v2.6.0 和 Spark v1.3.1 启动由 4 个虚拟机组成的集群的 Vagrant 项目。 node1 : HDFS NameNode + Spark Master node2 : YARN ResourceManager + JobHistoryServer + ProxyServer node3 : HDFS ...
第6章-Hadoop HA集群启动.pdf
05-19
实验环境通常包括多台服务器，配置为 Hadoop 集群的节点，包括 NameNode、DataNode、ResourceManager、NodeManager、JournalNode 等角色。硬件和软件环境需满足 Hadoop 官方推荐的最低配置要求。 ### 4. 实验视图 ...
Hadoop启动后无法启动NodeManager
aysk1112的博客
10-23 4265
在配置完Hadoop集群后，使用命令：“start-all.sh”进行启动集群。然后使用命令：“jps”查看进程启动情况，发现没有NodeManager 只需要使用命令：cd /usr/local/hadoop/hadoop-2.7.4/etc/hadoop 进入该目录后，使用命令“vim yarn-site.xml”对改文件进行修改，添加一下配置信息： 1 <p...
hadoop启动后,集群里没有NodeManager
m0_64483804的博客
03-14 1万+
解决方案： cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim yarn-site.xml <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name&...
hadoop启动没有nodemanager
热门推荐
洛洛devil的专栏
04-11 3万+
在正常启动hadoop的时候系统没有报错，但是jps查看进程的时候发现缺少了nodemanager，查看后台的日志进程··· 问题：发现如下错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.Ya
hadoop启动后,集群的NodeManager全都没有起来?
QQ317968200的专栏
05-21 4502
cd到你hadoop的安装目录里面,在etc/hadoop里面有个yarn-site.xml文件, 在里面加上 #nodemanager运行时要求的最低内存 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</va...
hadoop nodemanager 没有启动
kingxuexi的博客
02-17 1404
nodemanager要求的内存最低1024MB 修改yarn-site.xml yarn.nodemanager.resource.memory-mb 1024
大数据之hadoop伪分布模式启动.docx
11-24
在格式化HDFS后，可以启动Hadoop伪分布模式。可以使用`start-all.sh`命令启动所有Hadoop服务，也可以使用`start-dfs.sh`和`start-yarn.sh`命令分别启动HDFS和YARN服务。 查看进程 使用`jps`命令可以查看当前的...
大数据之hadoop分布式集群初次启动 (2).pdf
11-24
这时，我们可以看到 HDFS 模块在 master 节点上启动了 NameNode 和 SecondaryNameNode 进程，而在 slave1 和 slave2 节点上启动了 DataNode 进程。YARN 模块在 master 节点上启动了 ResourceManager 进程，而在 ...
Linux下Hadoop的分布式配置和使用.doc
02-23
在Linux环境下，Hadoop的分布式配置和使用是大数据处理领域中的关键步骤，它涉及多个环节，包括集群网络环境设定、SSH无密码验证、JDK安装与Java环境变量配置、Hadoop集群配置以及集群的启动和使用。以下是这些环节...
Hadoop之namenode不显示datanode
Fozei的博客
04-05 1474
最近在浅玩Hadoop,配置HDFS时,遇到两个小问题,记之. 首先介绍下概况: centos8和hadoop2.10.0,三台虚机,分配地址分别为.41 .42和.43,准备在.41机器上搭建namenode和datanode,另外两台分别搭建一个datanode. 先看下最后解决完问题后的成果: 问题来源1:第一台机器按照Hadoop官网配置NameNode和DataNode完成后,将Had...
启动hadoop集群DataNode不显示，DataNode显示NodeManager不显示
BD_ZZQ的博客
09-17 7380
启动hadoop集群后，输入jps你发现主节点显示的是正常的 而在从节点上却没有显示DataNode节点 如果你的配置都是正确的话，很可能就是你格式化文件系统的时候格式化了多次 解决方法：删除集群数据存储目录，在新建一个一样的文件夹，然后在格式化一次就正常了 在配置正确的情况下，如果只有从节点的NodeManager不显示 主节点的终端输入 vi slav
linux安装hadoop和hbase之后jps无datanode的原因及解决办法
dream_to_dream的博客
05-09 2125
1.出现状况 安装hadoop和hbase之后不能启动datanode，同时浏览器也不能访问hbase，在浏览器中输入localhost:16010显示web页面无效，在hbase shell 下不能正常的使用hbase下面的shell命令，导致不能建表等问题。 2.分析原因 因为我门在配置hadoop过程中，因为多次格式化namenode所致，导致namenode的namespaceID和datanode下的namespaceID不一致造成。 当我们执行文件系统格式化时，会在namenode数据文件夹（
hadoop中ResourceManager 进程或 NodeManager 进程没有启动
weixin_42592399的博客
12-28 2435
如果 ResourceManager 进程或 NodeManager 进程没有启动，可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件，确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常，确保所有节点都能够连接到同一网络。 可能是由于硬件问题导致的。您可以检查硬件是否正常工作，确保所有节点都能够正常运行。 ...
Hadoop报错之启动集群主机无Datanode
ryluii的博客
10-13 723
开启集群主机DataNode节点缺失解决办法
Hadoop集群启动但是没有datanode/namenode的情况
学习笔记
11-26 7925
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
hadoop集群运维的坑合集--datanode和nodemanager无法启动
weixin_44513718的博客
08-26 1433
后面因为服务器整体降配，需要重启，发现其他组件启动都没有问题，刚好在hdp100上这台的datanode和nodemanager均无法启动
hadoop启动无法启动datanode或者namenode
qq_57123433的博客
10-12 1032
解决运行Hadoop不出现datanode或者namenode问题
启动Hadoop集群，包含master节点上的NameNode、SecondaryNameNode、ResourceManager，以及node1、node2节点上的NodeManager、DataNode。
最新发布
07-14
要启动Hadoop集群并包含所述组件，您需要按照以下步骤进行操作： 1. 首先，确保您已经正确...这样，您就成功启动了Hadoop集群，并包含了所需的组件。请注意，您可能还需要根据您的具体配置进行其他额外的步骤或配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值