yarn启动失败原因

今天在做mapReduce 的学习开发时候,当我用start-yarn.sh启动yarn集群的时候一直都是启动失败,上网查了很久都说是yarn-site.xml 问题,自己核对了好几遍都没有找到问题,最后不得已一个一个核对,才发现问题,所以,就必须得记录一下,这一个巨大的坑。我的配置如下:

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>**hdfs://master001**</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

```..结果就是加粗部分出错,正确的配置其实挺简单的如下:
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>master001</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

其实配置是固定的,自己手打一定务必仔细。

### 回答1: 如果您使用Yarn启动的Hadoop集群中没有NodeManager,可能存在以下几种可能性: 1. 您的集群中没有安装NodeManager。请确保您的每个节点上都安装了NodeManager,并且NodeManager已经启动。 2. NodeManager启动失败。您可以查看NodeManager的日志文件,以了解问题所在。通常,如果NodeManager无法启动,会出现端口冲突或文件权限不足等问题。 3. 您的Yarn配置文件中可能没有正确配置NodeManager。请确保yarn-site.xml中的配置正确,并且指定了每个节点上的NodeManager。 如果您确认以上问题都不存在,但仍然没有NodeManager,请检查您的Hadoop版本是否与Yarn版本不兼容。在某些情况下,您可能需要升级Hadoop或Yarn才能使它们兼容。 ### 回答2: Yarn是一种用于Hadoop集群上运行作业的分布式计算框架。在Hadoop集群中,Yarn管理着集群中的资源,并负责调度作业。当我们启动Yarn时,NodeManager是其中一个关键组件,它负责管理单个节点上的资源和作业。如果启动后没有NodeManager,可能会出现以下几种情况: 1.配置错误:NodeManager需要在yarn-site.xml中正确配置才能启动。如果在配置中存在错误,那么NodeManager可能无法启动。 2.节点故障:如果节点出现故障,例如硬件故障或系统故障,那么可能会导致NodeManager无法启动。在这种情况下,我们需要诊断故障并修复问题。 3.权限问题:NodeManager需要运行在超级用户或yarn用户下才能启动。如果当前用户没有足够的权限,那么NodeManager可能无法启动。 4.版本不匹配:如果Yarn版本与其他相关组件的版本不匹配,那么可能会导致NodeManager无法启动。为了避免这种情况,我们需要确保所有组件都按照相同的版本进行安装。 如果出现启动后没有NodeManager的情况,我们需要进行一些调试工作,以确定问题所在。我们可以检查日志文件以查看有关错误的详细信息。我们还可以检查Yarn和其他相关组件的配置文件,确保它们都正确配置。最后,我们可能需要重启整个集群,以确保所有组件都正确启动。 ### 回答3: Yarn是Hadoop生态系统中的一个分布式计算工具,它的主要作用是为用户提供一个可靠、高效和可扩展的计算平台,以执行大规模数据处理作业。 在Yarn中,nodemanager是服务节点管理器,它的主要功能是在每个节点上启动和监控运行在该节点上的容器,容器是用来运行作业的一种独立的进程环境。nodemanager会提供有关节点资源使用情况的信息,同时还负责向ResourceManager(资源管理器)报告有关于容器及其资源使用情况的信息。 如果在Yarn启动后没有nodemanager,那么可能有以下几个原因: 1. Yarn安装不完整或不正确 如果在Yarn安装或配置过程中出现问题,可能会导致nodemanager服务未能安装或配置成功。这可能包括错误的配置文件、错误的权限设置、已损坏的二进制代码等。 2. 节点不在可用状态 如果节点意外停机或失败,那么nodemanager服务可能会变得不可用。当调度器尝试在该节点上运行container时,它将失败并抛出错误。 3. 网络连接问题或通信问题 如果节点上的nodemanagerResourceManager之间存在通信问题,那么集群可能无法正常工作。这可能是由于网络连接问题、防火墙配置不正确、端口冲突等原因导致的。 要解决这个问题,可以尝试以下解决步骤: 1. 检查集群配置文件、日志文件和运行状态 查看Yarn配置文件和日志文件,以确保所有关键服务已正确配置和启动。此外,检查每个节点上的容器执行情况,在nodemanager失踪的节点上查看容器执行情况。 2. 重新启动nodemanager服务 重新启动nodemanager服务可以尝试恢复其正常工作状态。如果nodemanager没有完全停机,可以尝试重启服务并查看是否已恢复正常工作。 3. 检查网络和通信配置 检查网络和防火墙配置,确保Yarn服务之间可以进行正常的网络通信。如果存在网络或通信问题,则可以尝试重新配置网络设置或更改通信端口。 4. 执行完整性检查 进行完整性检查,以确保Yarn服务的二进制文件和库文件没有被损坏或被破坏。如果检查过程发现了任何问题,则可以尝试重新安装或修复Yarn服务。 5. 与Hadoop社区联系 如果所有解决步骤都失败了,可以联系Hadoop社区寻求帮助和支持。这些社区可能会提供有关Yarn服务的更深入的支持和解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冬瓜螺旋雪碧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值