Hadoop 启动 YARN

1,首先进入hadoop目录:cd /usr/local/hadoop

2,修改配置文件 mapred-site.xml ,这边需要先进行重命名:

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后修改内容:gedit ./etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

3, 接着修改配置文件 yarn-site.xml:

yarn.nodemanager.aux-services

mapreduce_shuffle

4,启动yarn(需要先执行过./sbin/start-dfs.sh)

./sbin/start-yarn.sh # 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况

5, 启动 YARN 之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同。观察日志信息可以发现,不启用 YARN 时,是 “mapred.LocalJobRunner” 在跑任务,启用 YARN 之后,是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况: http://localhost:8088/cluster

6, 不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN,务必把配置文件 mapred-site.xml重命名,改成 mapred-site.xml.template,需要用时改回来就行。否则在该配置文件存在,而未开启 YARN 的情况下,运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误,这也是为何该配置文件初始文件名为 mapred-site.xml.template。

7,关闭yarn脚本如下:

./sbin/stop-yarn.sh

./sbin/mr-jobhistory-daemon.sh stop historyserver

### 回答1: 如果您使用Yarn启动Hadoop集群中没有NodeManager,可能存在以下几种可能性: 1. 您的集群中没有安装NodeManager。请确保您的每个节点上都安装了NodeManager,并且NodeManager已经启动。 2. NodeManager启动失败。您可以查看NodeManager的日志文件,以了解问题所在。通常,如果NodeManager无法启动,会出现端口冲突或文件权限不足等问题。 3. 您的Yarn配置文件中可能没有正确配置NodeManager。请确保yarn-site.xml中的配置正确,并且指定了每个节点上的NodeManager。 如果您确认以上问题都不存在,但仍然没有NodeManager,请检查您的Hadoop版本是否与Yarn版本不兼容。在某些情况下,您可能需要升级HadoopYarn才能使它们兼容。 ### 回答2: Yarn是一种用于Hadoop集群上运行作业的分布式计算框架。在Hadoop集群中,Yarn管理着集群中的资源,并负责调度作业。当我们启动Yarn时,NodeManager是其中一个关键组件,它负责管理单个节点上的资源和作业。如果启动后没有NodeManager,可能会出现以下几种情况: 1.配置错误:NodeManager需要在yarn-site.xml中正确配置才能启动。如果在配置中存在错误,那么NodeManager可能无法启动。 2.节点故障:如果节点出现故障,例如硬件故障或系统故障,那么可能会导致NodeManager无法启动。在这种情况下,我们需要诊断故障并修复问题。 3.权限问题:NodeManager需要运行在超级用户或yarn用户下才能启动。如果当前用户没有足够的权限,那么NodeManager可能无法启动。 4.版本不匹配:如果Yarn版本与其他相关组件的版本不匹配,那么可能会导致NodeManager无法启动。为了避免这种情况,我们需要确保所有组件都按照相同的版本进行安装。 如果出现启动后没有NodeManager的情况,我们需要进行一些调试工作,以确定问题所在。我们可以检查日志文件以查看有关错误的详细信息。我们还可以检查Yarn和其他相关组件的配置文件,确保它们都正确配置。最后,我们可能需要重启整个集群,以确保所有组件都正确启动。 ### 回答3: YarnHadoop生态系统中的一个分布式计算工具,它的主要作用是为用户提供一个可靠、高效和可扩展的计算平台,以执行大规模数据处理作业。 在Yarn中,nodemanager是服务节点管理器,它的主要功能是在每个节点上启动和监控运行在该节点上的容器,容器是用来运行作业的一种独立的进程环境。nodemanager会提供有关节点资源使用情况的信息,同时还负责向ResourceManager(资源管理器)报告有关于容器及其资源使用情况的信息。 如果在Yarn启动后没有nodemanager,那么可能有以下几个原因: 1. Yarn安装不完整或不正确 如果在Yarn安装或配置过程中出现问题,可能会导致nodemanager服务未能安装或配置成功。这可能包括错误的配置文件、错误的权限设置、已损坏的二进制代码等。 2. 节点不在可用状态 如果节点意外停机或失败,那么nodemanager服务可能会变得不可用。当调度器尝试在该节点上运行container时,它将失败并抛出错误。 3. 网络连接问题或通信问题 如果节点上的nodemanager与ResourceManager之间存在通信问题,那么集群可能无法正常工作。这可能是由于网络连接问题、防火墙配置不正确、端口冲突等原因导致的。 要解决这个问题,可以尝试以下解决步骤: 1. 检查集群配置文件、日志文件和运行状态 查看Yarn配置文件和日志文件,以确保所有关键服务已正确配置和启动。此外,检查每个节点上的容器执行情况,在nodemanager失踪的节点上查看容器执行情况。 2. 重新启动nodemanager服务 重新启动nodemanager服务可以尝试恢复其正常工作状态。如果nodemanager没有完全停机,可以尝试重启服务并查看是否已恢复正常工作。 3. 检查网络和通信配置 检查网络和防火墙配置,确保Yarn服务之间可以进行正常的网络通信。如果存在网络或通信问题,则可以尝试重新配置网络设置或更改通信端口。 4. 执行完整性检查 进行完整性检查,以确保Yarn服务的二进制文件和库文件没有被损坏或被破坏。如果检查过程发现了任何问题,则可以尝试重新安装或修复Yarn服务。 5. 与Hadoop社区联系 如果所有解决步骤都失败了,可以联系Hadoop社区寻求帮助和支持。这些社区可能会提供有关Yarn服务的更深入的支持和解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值