服务器查找重定向文件,重定向到日志容器服务器时,查看已完成的火花作业日志上纱...

我的火花版本是有2.1.1,和Hadoop版本的Apache Hadoop的2.7.3。

当在集群模式下纱线行走火花的工作,我可以通过标准输出/标准错误链接查看执行程序的日志像

http://hadoop-slave1:8042/node/containerlogs/container_1500432603585_0148_01_000001/hadoop/stderr?start=-4096

但是当工作完成后,通过标准输出/标准错误查看执行程序的日志链接会得到一个错误页面像

重定向到日志服务器container_1500432603585_0148_01_000001

java.lang.Exception的:未知的容器。容器或者没有 已启动或已经完成或者不属于此节点的所有 。

,然后它会自动重定向到

http://hadoop-slave1:8042/node/hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

,并得到其他错误网页像

Sorry, got error 404

Please consult RFC 2616 for meanings of the error code.

Error Details

org.apache.hadoop.yarn.webapp.WebAppException: /hadoop-master:19888/jobhistory/logs/hadoop-slave1:50284/container_1500432603585_0145_01_000002/container_1500432603585_0145_01_000002/oryx: controller for hadoop-master:19888 not found

at org.apache.hadoop.yarn.webapp.Router.resolveDefault(Router.java:232)

at org.apache.hadoop.yarn.webapp.Router.resolve(Router.java:140)

at org.apache.hadoop.yarn.webapp.Dispatcher.service(Dispatcher.java:134)

at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)

at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:263)

其实我可以使用这个网址访问该执行程序的日志时 火花作业已完成:

http://hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

it与之前的url有点不同,它删除头部“hadoop-slave1:8042/node /”。

有谁知道另一种更好的方法来查看日志火花时,火花作业已完成?

我已经的ConfigEd纱线的site.xml

yarn.resourcemanager.hostname

hadoop-master

The hostname of the RM.

yarn.log-aggregation-enable

true

yarn.log.server.url

${yarn.resourcemanager.hostname}:19888/jobhistory/logs

和mapred-site.xml中

mapreduce.jobhistory.address

${yarn.resourcemanager.hostname}:10020

mapreduce.jobhistory.admin.address

${yarn.resourcemanager.hostname}:10033

mapreduce.jobhistory.webapp.address

${yarn.resourcemanager.hostname}:19888

+0

您可以用'纱日志 - 的applicationID application_id'看到完整的应用程序日志。 –

+0

我需要从纱网用户界面查看日志。有人可能没有执行“纱线日志”命令的权限。 –

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值