Hadoop Yarn 运行日志查看不了

java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.

在这里插入图片描述

从网上搜索下了,找到答案,自己也作为学习,记录下

1、hadoop的日志服务,它是一个独立的服务,默认情况关闭的,需要单独开启该服务

2、该服务会涉及到2个文件的配置,其中包括:yarn-site.xmlmapred-site.xml

详细配置过程如下:

文件配置

需要将下面的配置,添加到文件yarn-site.xml

<property>
    <name>yarn.log.server.url</name>
    <value>http://master:19888/jobhistory/logs</value>
</property>

需要将下面的配置,添加到文件mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
启动服务
#开启服务
./sbin/mr-jobhistory-daemon.sh start historyserver

#停止服务
./sbin/mr-jobhistory-daemon.sh stop historyserver
通过任务查看日志

在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统,负责集群资源的分配和任务的调度。以下是Hadoop YARN的执行流程: 1. 提交作业:用户通过客户端向YARN提交作业,包括应用程序的代码和所需的资源配置。 2. 资源请求:YARN的ResourceManager接收到作业提交请求后,会为该作业分配一个唯一的Application ID,并将作业相关的信息记录在内部数据结构中。 3. 资源分配:ResourceManager根据集群中可用的资源情况,分配合适的Container给作业。Container是一个虚拟的计算资源单元,可以运行一个或多个任务。 4. 任务调度:一旦ResourceManager为作业分配了Container,它会将Container的相关信息发送给NodeManager,NodeManager负责管理和监控Container的运行。 5. 任务执行:一旦NodeManager接收到Container的信息,它会启动Container,并运行作业中的任务。任务可以是Map任务或Reduce任务,由应用程序代码定义。 6. 任务监控:NodeManager会监控任务的运行状态,并将进度和日志信息发送给ResourceManager。 7. 容错和恢复:如果任务失败或节点故障,YARN会自动重新分配和启动失败的任务。此外,它还能够根据配置策略进行容错和恢复操作。 8. 完成作业:当作业中的所有任务都成功完成时,YARN会将作业的最终状态和结果返回给客户端。 总体而言,Hadoop YARN通过ResourceManager和NodeManager的协调与管理,实现了任务的分配、调度和执行,以及容错和恢复等功能,从而实现了高效的集群资源管理和作业执行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值