Hadoop集群启动yarn不显示ResourceManager、NodeManager

一般是jdk版本太高,卸载jdk重装即可。
查看jdk版本,终端输入java -version

环境:Ubuntu18.04、hadoop3.1.4

卸载jdk

1. 删除openjdk包

sudo apt-get purge openjdk
卸载openjdk相关包
sudo apt-get purge icedtea-* openjdk-*
检查是否卸载完毕
dpkg --list | grep -i jdk

2. 还原环境变量

vim ~/.bashrc
删除export JAVA_HOME那一行,并保存退出
source ~/.bashrc

安装jdk

1.安装jdk8

sudo apt-get install openjdk-8-jre openjdk-8-jdk

2.查看路径

dpkg -L openjdk-8-jdk | grep '/bin/javac'
将路径添加到环境
vim ~/.bashrc
在第一行添加export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64,保存退出后输入source ~/.bashrc生效。
再次jps就可以看到ResourceManager、NodeManager。
在这里插入图片描述

  • 0
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
apahe hadoop2.7.2 官方文档,离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem Specification Common CLI Mini Cluster Native Libraries Proxy User Rack Awareness Secure Mode Service Level Authorization HTTP Authentication Hadoop KMS Tracing HDFS HDFS User Guide HDFS Commands Reference High Availability With QJM High Availability With NFS Federation ViewFs Guide HDFS Snapshots HDFS Architecture Edits Viewer Image Viewer Permissions and HDFS Quotas and HDFS HFTP C API libhdfs WebHDFS REST API HttpFS Gateway Short Circuit Local Reads Centralized Cache Management HDFS NFS Gateway HDFS Rolling Upgrade Extended Attributes Transparent Encryption HDFS Support for Multihoming Archival Storage, SSD & Memory Memory Storage Support MapReduce MapReduce Tutorial MapReduce Commands Reference Compatibilty between Hadoop 1.x and Hadoop 2.x Encrypted Shuffle Pluggable Shuffle/Sort Distributed Cache Deploy MapReduce REST APIs MR Application Master MR History Server YARN Overview YARN Architecture Capacity Scheduler Fair Scheduler ResourceManager Restart ResourceManager HA Node Labels Web Application Proxy YARN Timeline Server Writing YARN Applications YARN Commands NodeManager Restart DockerContainerExecutor Using CGroups Secure Containers Registry YARN REST APIs Introduction Resource Manager Node Manager Timeline Server Hadoop Compatible File Systems Amazon S3 Azure Blob Storage OpenStack Swift Auth Overview Examples Configuration Building Tools Hadoop Streaming Hadoop Archives DistCp GridMix Rumen Scheduler Load Simulator Reference Release Notes API docs Common CHANGES.txt HDFS CHANGES.txt MapReduce CHANGES.txt YARN CHANGES.txt Metrics Configuration core-default.xml hdfs-default.xml mapred-default.xml yarn-default.xml Deprecated Properties
### 回答1: 如果您使用Yarn启动Hadoop集群没有NodeManager,可能存在以下几种可能性: 1. 您的集群没有安装NodeManager。请确保您的每个节点上都安装了NodeManager,并且NodeManager已经启动。 2. NodeManager启动失败。您可以查看NodeManager的日志文件,以了解问题所在。通常,如果NodeManager无法启动,会出现端口冲突或文件权限不足等问题。 3. 您的Yarn配置文件中可能没有正确配置NodeManager。请确保yarn-site.xml中的配置正确,并且指定了每个节点上的NodeManager。 如果您确认以上问题都不存在,但仍然没有NodeManager,请检查您的Hadoop版本是否与Yarn版本不兼容。在某些情况下,您可能需要升级HadoopYarn才能使它们兼容。 ### 回答2: Yarn是一种用于Hadoop集群上运行作业的分布式计算框架。在Hadoop集群中,Yarn管理着集群中的资源,并负责调度作业。当我们启动Yarn时,NodeManager是其中一个关键组件,它负责管理单个节点上的资源和作业。如果启动没有NodeManager,可能会出现以下几种情况: 1.配置错误:NodeManager需要在yarn-site.xml中正确配置才能启动。如果在配置中存在错误,那么NodeManager可能无法启动。 2.节点故障:如果节点出现故障,例如硬件故障或系统故障,那么可能会导致NodeManager无法启动。在这种情况下,我们需要诊断故障并修复问题。 3.权限问题:NodeManager需要运行在超级用户或yarn用户下才能启动。如果当前用户没有足够的权限,那么NodeManager可能无法启动。 4.版本不匹配:如果Yarn版本与其他相关组件的版本不匹配,那么可能会导致NodeManager无法启动。为了避免这种情况,我们需要确保所有组件都按照相同的版本进行安装。 如果出现启动没有NodeManager的情况,我们需要进行一些调试工作,以确定问题所在。我们可以检查日志文件以查看有关错误的详细信息。我们还可以检查Yarn和其他相关组件的配置文件,确保它们都正确配置。最后,我们可能需要重启整个集群,以确保所有组件都正确启动。 ### 回答3: YarnHadoop生态系统中的一个分布式计算工具,它的主要作用是为用户提供一个可靠、高效和可扩展的计算平台,以执行大规模数据处理作业。 在Yarn中,nodemanager是服务节点管理器,它的主要功能是在每个节点上启动和监控运行在该节点上的容器,容器是用来运行作业的一种独立的进程环境。nodemanager会提供有关节点资源使用情况的信息,同时还负责向ResourceManager(资源管理器)报告有关于容器及其资源使用情况的信息。 如果在Yarn启动没有nodemanager,那么可能有以下几个原因: 1. Yarn安装不完整或不正确 如果在Yarn安装或配置过程中出现问题,可能会导致nodemanager服务未能安装或配置成功。这可能包括错误的配置文件、错误的权限设置、已损坏的二进制代码等。 2. 节点不在可用状态 如果节点意外停机或失败,那么nodemanager服务可能会变得不可用。当调度器尝试在该节点上运行container时,它将失败并抛出错误。 3. 网络连接问题或通信问题 如果节点上的nodemanagerResourceManager之间存在通信问题,那么集群可能无法正常工作。这可能是由于网络连接问题、防火墙配置不正确、端口冲突等原因导致的。 要解决这个问题,可以尝试以下解决步骤: 1. 检查集群配置文件、日志文件和运行状态 查看Yarn配置文件和日志文件,以确保所有关键服务已正确配置和启动。此外,检查每个节点上的容器执行情况,在nodemanager失踪的节点上查看容器执行情况。 2. 重新启动nodemanager服务 重新启动nodemanager服务可以尝试恢复其正常工作状态。如果nodemanager没有完全停机,可以尝试重启服务并查看是否已恢复正常工作。 3. 检查网络和通信配置 检查网络和防火墙配置,确保Yarn服务之间可以进行正常的网络通信。如果存在网络或通信问题,则可以尝试重新配置网络设置或更改通信端口。 4. 执行完整性检查 进行完整性检查,以确保Yarn服务的二进制文件和库文件没有被损坏或被破坏。如果检查过程发现了任何问题,则可以尝试重新安装或修复Yarn服务。 5. 与Hadoop社区联系 如果所有解决步骤都失败了,可以联系Hadoop社区寻求帮助和支持。这些社区可能会提供有关Yarn服务的更深入的支持和解决方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值