Hadoop启动不了resource-manager

最初打算搭建一个单节点伪分布式hadoop,参照网上一些参考后发现用yarn 启动resource-manager启动不起来

先启动yarn服务

[root@node01 hadoop]# start-yarn.sh
Starting resourcemanager
Last login: Wed Dec  6 23:49:58 PST 2023 on pts/0
Starting nodemanagers
Last login: Thu Dec  7 00:04:17 PST 2023 on pts/0
  1. jps查看java进程
[root@node01 hadoop]# jps
15522 SecondaryNameNode
15141 NameNode
15294 DataNode
19791 Jps

但发现没有resource-manger服务

  1. 查log,日志目录位于/hadoop-X/logs
[root@node01 logs]# vi hadoop-root-resourcemanager-node01.log 

从log里查出异常

我这里log的异常

ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
java.lang.ExceptionInInitializerError
        at com.google.inject.internal.cglib.reflect.$FastClassEmitter.<init>(FastClassEmitter.java:67)
        at com.google.inject.internal.cglib.reflect.$FastClass$Generator.generateClass(FastClass.java:72)
        at com.google.inject.internal.cglib.core.$DefaultGeneratorStrategy.generate(DefaultGeneratorStrategy.java:25)
        at com.google.inject.internal.cglib.core.$AbstractClassGenerator.create(AbstractClassGenerator.java:216)
        at com.google.inject.internal.cglib.reflect.$FastClass$Generator.create(FastClass.java:64)
        at com.google.inject.internal.BytecodeGen.newFastClass(BytecodeGen.java:204)
        at com.google.inject.internal.ProviderMethod$FastClassProviderMethod.<init>(ProviderMethod.java:256)
        at com.google.inject.internal.ProviderMethod.create(ProviderMethod.java:71)
        at com.google.inject.internal.ProviderMethodsModule.createProviderMethod(ProviderMethodsModule.java:275)
        at com.google.inject.internal.ProviderMethodsModule.getProviderMethods(ProviderMethodsModule.java:144)
        at com.google.inject.internal.ProviderMethodsModule.configure(ProviderMethodsModule.java:123)
        at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:340)
        at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:349)
        at com.google.inject.AbstractModule.install(AbstractModule.java:122)
        at com.google.inject.servlet.ServletModule.configure(ServletModule.java:52)
        at com.google.inject.AbstractModule.configure(AbstractModule.java:62)
        at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:340)
        at com.google.inject.spi.Elements.getElements(Elements.java:110)
        at com.google.inject.internal.InjectorShell$Builder.build(InjectorShell.java:138)
        at com.google.inject.internal.InternalInjectorCreator.build(InternalInjectorCreator.java:104)
        at com.google.inject.Guice.createInjector(Guice.java:96)
        at com.google.inject.Guice.createInjector(Guice.java:73)
        at com.google.inject.Guice.createInjector(Guice.java:62)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.build(WebApps.java:417)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:465)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1389)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1498)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1700)
Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain) throws java.lang.ClassFormatError accessible: module java.base does not "opens java.lang" to unnamed module @5767b04b
        at java.base/java.lang.reflect.AccessibleObject.throwInaccessibleObjectException(AccessibleObject.java:391)
        at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:367)
        at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:315)
        at java.base/java.lang.reflect.Method.checkCanSetAccessible(Method.java:203)
        at java.base/java.lang.reflect.Method.setAccessible(Method.java:197)
        at com.google.inject.internal.cglib.core.$ReflectUtils$2.run(ReflectUtils.java:56)
        at java.base/java.security.AccessController.doPrivileged(AccessController.java:319)
        at com.google.inject.internal.cglib.core.$ReflectUtils.<clinit>(ReflectUtils.java:46)

一搜索上述报错居然是本地的jdk版本过高导致,给hadoop配的是jdk21,但是也不要紧,可以通过给resource-manager服务添加VM参数解决

[root@node01 hadoop]#cd /hadoop-3.3.6/etc/hadoop
[root@node01 hadoop]# vi yarn-env.sh

然后添加这行命令(保证文件原来没有该命令)

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -Dyour.property=value"

再启动yarn

[root@node01 hadoop]# start-yarn.sh

jps再查询

[root@node01 hadoop]# jps
15522 SecondaryNameNode
15141 NameNode
21513 Jps
20988 ResourceManager
15294 DataNode

ok运行成功

  • 7
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: resourcemanager无法启动可能是由于以下原因: 1. 配置文件错误:检查配置文件中是否存在错误或缺失的参数。 2. 端口冲突:检查端口是否被其他进程占用。 3. 内存不足:检查系统内存是否足够支持resourcemanager的运行。 4. 权限问题:检查当前用户是否具有启动resourcemanager的权限。 解决方法: 1. 检查配置文件并修复错误或缺失的参数。 2. 检查端口并释放被占用的端口。 3. 增加系统内存或减少其他进程的内存占用。 4. 以管理员身份运行resourcemanager。 ### 回答2: ResourcemanagerHadoop中的重要组件之一,是整个Hadoop集群的资源管理器,控制着集群中各个节点的资源分配和任务调度。如果Resourcemanager无法启动,很可能会导致整个Hadoop集群无法正常工作。 造成Resourcemanager无法启动的原因可能有很多种,下面列举几种可能的原因及解决方法: 1.端口冲突:Resourcemanager默认绑定端口为8088,如果其他程序占用了该端口,就会影响Resourcemanager的启动。解决方法是找到占用8088端口的程序并关闭它。 2.配置文件错误:如果配置文件中存在错误,比如格式不正确或者缺少必要的配置项,就会导致Resourcemanager无法启动。解决方法是检查配置文件并修复错误。 3.JVM内存不足:如果Resourcemanager占用的内存超过了JVM分配给它的内存大小,就会导致Resourcemanager无法启动。解决方法是增加JVM分配的内存大小,可以通过配置文件或者命令行参数来实现。 4.权限问题:Resourcemanager需要访问Hadoop集群中的其他节点,如果没有足够的权限访问这些节点,就会导致Resourcemanager无法启动。解决方法是检查权限设置并修复问题。 5.网络连接问题:如果Resourcemanager与其他节点的网络连接出现问题,比如网络延迟过高或者节点宕机等,就会导致Resourcemanager无法启动。解决方法是检查网络连接并修复问题。 总之,要解决Resourcemanager无法启动的问题,我们需要对其启动过程进行全面的排查,并找到具体的原因,针对性地进行解决,才能使整个Hadoop集群能够正常工作。 ### 回答3: resourcemanagerHadoop集群中的组件,它们负责管理和分配集群资源。如果resourcemanager无法启动,可能会导致整个集群无法正常运行。以下是可能导致resourcemanager无法启动的一些常见问题和解决方法。 1. 内存不足或磁盘空间不足。resourcemanager需要一定的系统资源才能正常工作。如果系统内存或磁盘空间不足,可能会导致resourcemanager无法启动。解决方法是增加系统内存或清理磁盘空间。 2. 配置错误。resourcemanager的配置文件可能出现错误,导致无法启动。可以检查配置文件中的参数是否正确,并尝试重新启动resourcemanager。 3. 端口被占用。resourcemanager使用一些默认端口来与其他组件通信。如果这些端口已经被其他程序占用,可能会导致resourcemanager无法启动。可以使用netstat命令检查端口占用情况,并尝试更改端口号或关闭占用端口的程序。 4. 安全问题。如果resourcemanager的安全设置不正确,可能会导致无法启动。可以检查安全配置文件,例如core-site.xml和hdfs-site.xml,确保安全设置正确。 5. 日志文件损坏或丢失。如果resourcemanager的日志文件损坏或丢失,可能会导致无法启动。可以尝试修复损坏的日志文件或恢复丢失的日志文件。 总之,如果resourcemanager无法启动,需要逐步排除以上问题,确定具体原因,并采取相应措施。只有确保resourcemanager正常运行,才能确保整个Hadoop集群的正常运转。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值