Hadoop NodeManager无法启动问题解决

最近在学习Hadoop的时候, 用虚拟机在Ubuntu中按照官网教程搭建好伪集群环境。 hdfs可以正常启动, 但是在启动Yarn的时候, NodeManager一直无法启动, 查看了下yarn的ResourceManager日志, 发现一直在报错:

org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService:  
    NodeManager from  john-VirtualBox doesn't satisfy minimum allocations,   
    Sending SHUTDOWN signal to the NodeManager.

上网查了很多资料, 下面这些方法都试过,
1. yarn.scheduler.maximum-allocation-mb调大
2. yarn.nodemanager.resource.memory-mb调大
3. 等等。。。
然而,并没有什么卵用。。。

后来忘记在哪看了一个博客说好像是hadoop-2.7.4版本默认参数有点问题,我按照他的方法把下面这两个参数添加到yarn-site.xml中,发现竟然神奇的解决了。。

<property>  
     <name>yarn.nodemanager.resource.cpu-vcores</name>  
     <value>8</value>  
 </property>  
 <property>  
     <name>yarn.nodemanager.resource.memory-mb</name>  
     <value>8192</value>  
</property>

此问题真正的原因,我还不清楚, 知道的麻烦留言告诉下哈~

  • 3
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HadoopNodeManager无法启动时,可能是由于以下一些常见问题引起的: 1. 配置错误:请检查NodeManager的配置文件,确保文件中的属性和值都是正确的。例如,确保NodeManager所在的机的IP地址和端口号正确设置。 2. 权限问题:确保NodeManager所在的目录和文件的权限正确设置,并确保Hadoop用户有足够的权限来读取和写入相关的文件和目录。 3. 网络问题:请确保NodeManager所在的机可以与Hadoop集群的其他节点进行通信。如果NodeManager无法连接到其他节点,则可能会导致启动失败。 4. 资源限制:请确保NodeManager所在的机上有足够的内存和CPU资源来启动NodeManager进程。如果机资源不足,则可能会导致启动失败。 如果您检查了上述问题,并且问题仍然存在,请查看NodeManager的日志文件以获取更多详细信息,以确定问题的原因。您好!Hadoop NodeManagerHadoop 分布式计算框架中的一个重要组件,它负责管理运行在每个节点上的容(Container),监控它们的资源使用情况,并与 ResourceManager 交互以获取分配给该节点的任务信息。 如果您无法启动 NodeManager,可以尝试以下几个步骤来排查问题: 1. 检查 NodeManager 的配置文件是否正确:NodeManager 的配置文件通常位于 Hadoop 的安装目录下的 /etc/hadoop 目录中,文件名为 yarn-site.xml。确保配置文件中的参数设置正确,特别是关于 ResourceManager 的地址和端口号等参数。 2. 检查 NodeManager 的日志文件:NodeManager 的日志文件通常位于 Hadoop 的安装目录下的 logs 目录中,文件名为 yarn-yarn-nodemanager-<hostname>.log。检查日志文件中是否有任何错误或异常信息,以确定问题的原因。 3. 检查节点的网络连接和状态:NodeManager 需要与 ResourceManager 进行通信,因此请确保节点可以与 ResourceManager 正确通信。您可以尝试使用 telnet 命令测试节点是否可以连接到 ResourceManager 的端口,例如 telnet <ResourceManager IP> <ResourceManager Port>。 4. 检查节点的资源使用情况:NodeManager 运行的容需要消耗一定的系统资源,如 CPU、内存等。请确保节点的资源使用情况正常,并且没有其他进程或服务占用了过多的资源,导致 NodeManager 无法启动。 希望这些建议对您有所帮助!如果问题仍然存在,请提供更多详细信息,以便我们更好地帮助您解决问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值