启动hadoop成功后，再次启动datanode 和namenode都没有 但有nodeManager

最新推荐文章于 2024-10-07 11:47:17 发布
最新推荐文章于 2024-10-07 11:47:17 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 工作fighting spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_neu_lee/article/details/97111281
版权
大数据 同时被 3 个专栏收录
20 篇文章 0 订阅
订阅专栏
spark
16 篇文章 0 订阅
订阅专栏
工作fighting
13 篇文章 0 订阅
订阅专栏

安装hadoop  启动后发现成功   但之后因为某些原因重新启动   发现重新启动不起来了

 datanode和namenode都没有了   怎么找也找不到    但可以看到nodeManager还在  这是个什么幺蛾子

我重新删除log  tmp文件夹  然后format   啊哈  没有一点用

最后发现后台进程中JVM占用了50010端口   这我就知道了  因为之前没有合理的关闭hadoop  导致后台的hadoop也就是JVM管理的部分还是没有删除     这种情况下kill掉进程  然后就能重启hadoop了    

 

唉   给大家一个调试bug的万能方法吧 ：重启万岁！！！（一般重启都能解决80%的问题） 哈哈哈

IT_NEU_Lee
关注
专栏目录
Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程
martinniee
01-11 1万+
问题描述 最近因为想修改一下主机名，用户名什么的 但是一开始没有注意到主机名和用户名对于Hadoop服务的影响 导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了 之所以出错，归根结底还是对于原理不熟 解决方案 首先要知道Linux下的主机名和用户名是什么，如何查看 命令行终端下 格式 : 用户名@主机
2023/09/10 --Hadoop103，104 上NodeManger 没有启动
m0_48214806的博客
09-10 295
问题 Hadoop103，104 上NodeManger 没有启动。2. 在hadoop103 添加 memory 和 CPU。1. 查看hadoop102 yarn 配置。3. 启动nodemanger。
启动hadoop后没有 NodeManager和 ResourceManager
最新发布
z5z3c的博客
10-07 1166
跟着黑马网课学下去时发现我的hadoop启动后没有NodeManager和ResourceManager。
Hadoop启动后无法启动NodeManager
aysk1112的博客
10-23 4449
在配置完Hadoop集群后，使用命令：“start-all.sh”进行启动集群。然后使用命令：“jps”查看进程启动情况，发现没有NodeManager 只需要使用命令：cd /usr/local/hadoop/hadoop-2.7.4/etc/hadoop 进入该目录后，使用命令“vim yarn-site.xml”对改文件进行修改，添加一下配置信息： 1 <p...
hadoop启动后,集群里没有NodeManager
m0_64483804的博客
03-14 1万+
解决方案： cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim yarn-site.xml <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name&...
hadoop启动没有nodemanager
热门推荐
洛洛devil的专栏
04-11 3万+
在正常启动hadoop的时候系统没有报错，但是jps查看进程的时候发现缺少了nodemanager，查看后台的日志进程··· 问题：发现如下错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.Ya
Hadoop集群开启后使用jps命令查看发现没有NameNode、SecondaryNameNode、DataNode、NodeManager进程，缺少进程。
m0_74132943的博客
09-12 1652
今天安装Hadoop集群，安装完成使用jps命令查看发现没有NameNode、SecondaryNameNode、DataNode、NodeManager进程，别人jps后都有6个在跑，我就两个。重启服务...........................................................
Hadoop没有namenode/datanode进程
weixin_43411977的博客
09-18 2795
问题描述 前几天新增了两个节点，一直都没问题，今天突然出了问题。 刚开始是两个新增的节点上没有datanode进程，nodemanager还有。 重启集群后，成了所有的节点（包括master）都没有datanode。 之后把hadoop下的hdfs文件夹删除重建，所有的节点上都有了datanode，但是master没了namenode。 先后尝试的方法有： 1.单纯格式化namenode。对我的情...
大数据学习之hadoop（NameNode和DataNode原理）
a18379692263的博客
11-05 1117
大数据 1、概念 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决海量数据的采集、存储和分析计算的问题。 2、特点 大量、高速、多样、低价值密度（快速对有价值数据进行提纯） hadoop 1、概念 hadoop是分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。 2、环境准备 3、ha...
hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
lhyxcxy的博客
01-27 1146
1：NameNode 2：SecondNameNode 3：DataNode 4：ResourceManager 5：NodeManager ----------------------------------------------------------------------------------------------------------------------------...
hadoop启动后,集群的NodeManager全都没有起来?
QQ317968200的专栏
05-21 4609
cd到你hadoop的安装目录里面,在etc/hadoop里面有个yarn-site.xml文件, 在里面加上 #nodemanager运行时要求的最低内存 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</va...
hadoop nodemanager 没有启动
kingxuexi的博客
02-17 1436
nodemanager要求的内存最低1024MB 修改yarn-site.xml yarn.nodemanager.resource.memory-mb 1024
Hadoop之namenode不显示datanode
Fozei的博客
04-05 1540
最近在浅玩Hadoop,配置HDFS时,遇到两个小问题,记之. 首先介绍下概况: centos8和hadoop2.10.0,三台虚机,分配地址分别为.41 .42和.43,准备在.41机器上搭建namenode和datanode,另外两台分别搭建一个datanode. 先看下最后解决完问题后的成果: 问题来源1:第一台机器按照Hadoop官网配置NameNode和DataNode完成后,将Had...
启动hadoop集群DataNode不显示，DataNode显示NodeManager不显示
BD_ZZQ的博客
09-17 7496
启动hadoop集群后，输入jps你发现主节点显示的是正常的 而在从节点上却没有显示DataNode节点 如果你的配置都是正确的话，很可能就是你格式化文件系统的时候格式化了多次 解决方法：删除集群数据存储目录，在新建一个一样的文件夹，然后在格式化一次就正常了 在配置正确的情况下，如果只有从节点的NodeManager不显示 主节点的终端输入 vi slav
linux安装hadoop和hbase之后jps无datanode的原因及解决办法
dream_to_dream的博客
05-09 2225
1.出现状况 安装hadoop和hbase之后不能启动datanode，同时浏览器也不能访问hbase，在浏览器中输入localhost:16010显示web页面无效，在hbase shell 下不能正常的使用hbase下面的shell命令，导致不能建表等问题。 2.分析原因 因为我门在配置hadoop过程中，因为多次格式化namenode所致，导致namenode的namespaceID和datanode下的namespaceID不一致造成。 当我们执行文件系统格式化时，会在namenode数据文件夹（
hadoop中ResourceManager 进程或 NodeManager 进程没有启动
weixin_42592399的博客
12-28 2752
如果 ResourceManager 进程或 NodeManager 进程没有启动，可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件，确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常，确保所有节点都能够连接到同一网络。 可能是由于硬件问题导致的。您可以检查硬件是否正常工作，确保所有节点都能够正常运行。 ...
Hadoop报错之启动集群主机无Datanode
ryluii的博客
10-13 764
开启集群主机DataNode节点缺失解决办法
启动yarn后，其他节点没有NodeManager
可以混，但不能真的菜
07-12 1091
这个问题虽然折磨了我两天，但是原因特别蠢，可能与各位不一定一样，我是因为ResourceManager的节点的"/etc/hadoop/workers"文件没有配置好（没有配hadoop102和hadoop104），但排查过程可以作参考。
如果`jps`返回无结果，如何手动启动DataNode和NodeManager？
09-20
如果使用 `jps` 命令查看Hadoop集群进程时未发现DataNode或NodeManager进程，这通常意味着它们并未正常启动。以下是手动启动这两种服务的步骤： **对于Hadoop DataNode**: 1. **停止其他可能冲突的服务**: 确保没有任何其他正在运行的数据处理服务占用相同的端口（默认是50010 for NameNode and 50075 for DataNode）。 2. **启动DataNode**: 进入Hadoop安装目录下的`bin`文件夹，然后执行命令： ``` hadoop-daemon.sh start datanode ``` 如果在Unix系统上，也可以直接运行： ```bash ./hadoop-daemon.sh start datanode ``` **对于YARN NodeManager**: 3. **同样地，先检查并停止其他可能冲突的服务**: YARN的NodeManager默认使用8042作为HTTP服务器端口。 4. **启动NodeManager**: ``` hadoop-daemon.sh start nodemanager ``` 或者在Unix系统上： ```bash ./hadoop-daemon.sh start nodeManager ``` 启动完成后，可以再次使用`jps`检查是否成功创建了DataNode和NodeManager进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值