hadoop集群群启时，resourcemanager节点丢失问题

最新推荐文章于 2023-09-12 15:15:36 发布
最新推荐文章于 2023-09-12 15:15:36 发布
阅读量997 收藏 4
点赞数
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49690060/article/details/124827206
版权

报错日志：

![1652609887920](C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1652609887920.png) ![1652609887920](C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1652609887920.png) ![1652609887920](C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1652609887920.png)

 

解决方法：

vi /opt/en/hadoop-2.7.2/sbin/start-yarn.sh

将"$bin"/yarn-daemon.sh --config $YARN_CONF_DIR start resourcemanager

修改为

"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR start resourcemanager

 

一小小猿
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
ansible-role-hadoop:Ansible角色，用于安装Hadoop集群
05-28
Hadoop集群角色 在节点集群中安装和配置Hadoop系统（2.X版）。 角色变量 可以传递给此角色的变量及其简要说明如下： # The type of the node: slave or master or resourcemanager or nodemanager or datanode or namenode hadoop_type_of_node: slave # Hadoop base directory to install the software hadoop_home: /opt/hadoop-2.X # List of servers to download the hadoop code hadoop_mirrors: [ "http://mirror.cc.columbia.edu/pub/software/apache/hadoop/core/stab
hadoop启动缺少NameNode， 缺少ResourceManager, 缺少NodeManager...
世幻水的博客
10-02 1万+
描述：在hadoop 运行start-all.sh，发现缺少了NameNode， 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有ResourceManager和NodeManager(选读) 2.3 没有ResourceManage(选读) 3. 总结 1.hadoop日志 hadoop日志位于 hadoop 安装目录下的logs里，包含
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。           Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/JournalNode hadoop 172.16.250.237 DN2/JN2/RM1 DataNode/JournalNode/ResourceManager hadoop 172.16.250.238 DN3/JN3/RM
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server03 datanode nodemanager zookeeper journal node
大数据hadoop集群部署-最详细的部署-2.8.5.pdf
05-17
HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。 Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。 YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。 YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。 Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
win10安装hadoop启动所有进程后，发现resourcemanager可以启动但一会儿就没了停止了resourcemanager.ResourceManager: Error starting
爱人io
01-13 2000
win10安装hadoop启动所有进程后，发现resourcemanager可以启动但一会儿就没了停止了resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志 可以看到resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志，报了类TimelineCollectorManager找不到的错误， 解决方法: F:\hadoop-3.1.2\
Hadoop集群：关于NameNode和ResourceManager群起失败的问题
zuodingquan666的博客
12-11 2761
新手搭建集群的时候，往往因为集群没起来，就慌了手脚。通过jps发现，往往NameNode和ResourceManager以及SecondaryNameNode没有进程。 以上问题的原因主要有以下两点： 集群id不一致 集群端口被占用 集群id不一致解决方法 原因:多次进行namenode格式化造成集群id不一致 解决方法： 方法1：删除hadoop集群每个服务器目录下的data和log文件，然后重新启动集群。 方法2：查看data目录下的name中 data/tmp/dfs/data.
启动hadoop集群时namenode、datanode、resourcemanager等节点缺失问题解决
m0_49025634的博客
11-06 2887
启动hadoop集群时namenode、datanode、resourcemanager等节点缺失问题解决 注：查看日志，看问题出现在哪 1.查看日志（最下面附图） 进入安装好的hadoop文件下的logs下（cd命令） 查看logs下各文件（ls命令） 进入节点缺失的log文件下（cd 命令）——文件名太长用tab键补全 找到问题所在（复制找百度） 2.大部分问题都是进程被占用。 lsof -i：端口号 #查看那个进程被占用 kill -9 进程号 #杀掉进程 stop-all.sh
Hadoop 启动了之后， ResourceManager未起来的问题解决
热门推荐
基咯咯
01-16 6万+
今天早上同学让我帮忙启动了下集群，首先就要启动hadoop，jps进程看了下： 2128 QuorumPeerMain 12178 Jps 8259 SecondaryNameNode 7993 NameNode 发现Hadoop的namenode和secondarynamenode都起来了，但是resourcemanager却没有起来，但是感觉配置都没有错，这个时候去查看了日志，
Hadoop集群 启动了之后， ResourceManager未起来的问题解决
学习、记录、分享
09-19 2万+
启动hadoop，在hadoop-2.5.2下开启集群hadoop-start.sh ，用jps查看进程， 1493 DataNode 1665 SecondaryNameNode 1400 NameNode 1903 NodeManager 2504 Jps 然后访问 http://ip:50070可以正常访问，端口8088访问不到，是因为你的ResourceManager在进程中没有打开，...
vagrant-jilla-hadoop:流浪者设置来启动vm hadoop集群
05-16
带Spark 1.4.1和Hive，Pig客户端的vagrant-hadoop-2.6.0介绍Vagrant项目通过数据节点中的Hadoop v2.6.0，Spark 1.4.1以及apache hive和pig客户端启动了由5个虚拟机组成的集群node1：HDFS名称节点+ Spark Master node...
centos7系统Hadoop集群搭建和简单使用，resource manager无法启动的问题
touziss的博客
10-08 5129
搭建过程：https://blog.csdn.net/pucao_cug/article/details/71698903 非常详细的文章，感谢大神。 根据步骤一步步来，不难，而且基本没有出错。碰到的唯一问题是装java的时候的问题，我的解决方案：https://blog.csdn.net/touziss/article/details/82859035 启动hadoop以后，做个小实验熟悉...
大数据hadoop集群的搭建及配置（三台）
weixin_56612338的博客
10-17 2703
Hadoop知识点 配置集群前的规划（提前写在记事本上） 确定三台的ip 找到三台虚拟机的MAC地址 给三台虚拟机起什么名字 最好在根目录下(/)建一个目录export,里面建立两个目录(servers存放解压后的软件,software存放从windows传来的压缩包) 网络配置 配置各个服务器的网络，相互之间能ping通，而且外网也可以ping通 主机名的修改，默认都是localhost，把HOSTNAME改一下，三台可以分别改为hadoop01、hadoop02、hadoop0
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 2861
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
【大数据基础】Resourcemanager和NodeManagers启动失败
Best_T的博客
04-04 2638
【错误描述1】 启动hadoop后没有resourcenamager和nodemanagers节点 【解决方案】 可能是jdk版本过高，过高的jsk版本默认禁止访问许多javax的API导致hadoop启动失败； 建议下载jdk1.8 Java Archive Downloads - Java SE 8 【错误描述2】 启动Hadoop时出现Error； ERROR: node02:Cannot set priority of resourcemanager process on xx..
Hadoop集群搭建部分结点没有出现NodeManager问题解决方法
weixin_45960843的博客
08-18 4845
有可能是配置文件没有配置好 我是在B站跟着视频学习的，一开始在评论找到方法如下：在mapred-site.xml文件添加 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value> </property> <property> <nam...
关于hadoop yarn主备切换，resourcemanager不能正常启动的重大事故
最新发布
qq_36481693的博客
09-12 441
hadoop 3.3.6 yarn主备不能正常切换问题发现与解决方案
Hadoop集群配置：启动hadoop出现没有resourcemanager
m0_67392126的博客
04-03 6410
Hadoop集群配置：启动hadoop出现没有resourcemanager 首先要格式化一下 bin/hadoop namenode -format 格式化以后 启动Hadoop 启动完后用jps查看 发现没有resourcemanager这一项 于是打开logs 于是打开 hadoop-2.8.2/etc/hadoop目录下的yarn-site.xml 将其中的h.ostname改为address 成功解决 总结L: xml里是根据name找value的 name不对它找不到有效的value值
在Hadoop集群中配置三个节点的详细步骤
05-25
以下是在 Hadoop 集群中配置三个节点的详细步骤： 1. 准备工作 在三台机器上安装相同版本的 Hadoop，并确保它们都能够互相访问和通信。同时，确保每台机器都有足够的磁盘空间用来存储数据和日志。 2. 修改 Hadoop 配置文件 在每台机器上修改 Hadoop 的配置文件（例如 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml）以指定集群的配置，例如 NameNode、DataNode、ResourceManager 和 NodeManager 的位置。 3. 配置 SSH 在每台机器上配置 SSH，以便可以在集群中的所有节点上轻松地运行 Hadoop 命令。 4. 格式化 NameNode 在其中一台机器上格式化 NameNode。在命令行中运行以下命令： ``` hadoop namenode -format ``` 这将在指定的目录中创建必要的目录结构和元数据。 5. 启动 Hadoop 服务 在每台机器上启动 Hadoop 服务。在命令行中运行以下命令： ``` sbin/start-dfs.sh sbin/start-yarn.sh ``` 这将启动 Hadoop 的所有必要服务，包括 NameNode、DataNode、ResourceManager 和 NodeManager。 6. 确认集群状态 运行以下命令以确认集群正常运行： ``` jps ``` 这将显示在每台机器上正在运行的 Java 进程，其中应该包括 NameNode、DataNode、ResourceManager 和 NodeManager。 7. 运行 MapReduce 作业 现在，您已经成功配置了一个三节点的 Hadoop 集群。您可以在集群中提交 MapReduce 作业，并观察作业在集群中的分布式执行情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一小小猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值