spark不同模式下应用程序运行的日志存放位置

spark不同运行模式下,应用程序运行的输出日志位置
摘要由CSDN通过智能技术生成

  今天一个同学问我,为什么他昨天跑完程序的日志输出,今天找不到了。是什么原因呢?他的运行模式是yarn-cluster,前一天运行完在userlogs目录下有以他的application编号命名的文件夹。想让我看一下我的对应目录是否有这样的情况?

  我查看了我自己的日志目录,没有userlogs这个目录,不科学呀,我明明运行成功过spark应用程序。于是在网上查找了一下,发现了如下两个问题:

(1) spark的应用程序运行结果输出日志在yarn和standalone模式下位置不一样,在yarn模式下,日志输出位置在你NodeManager节点(ResourceManager节点下没输出)的hadoop安装目录/logs/userlogs/目录下,而我是用的Standalone模式,对应的日志输出在我的NodeManager节点的 spark安装目录/work/目录下。可以通过参数SPARK_WORKER_DIR修改。

这里写图片描述

如图,你看到的就是我的应用程序输出目录。

(2) 为什么应用程序的日志输出没了呢?
  在网上查了一下yarn模式的一些日志配置参数,找到参数

这里写图片描述
可能看的不是很清楚。就是yarn.nodemanager.log.retain-seconds参数,这个参数指的是应用程序输出日志保存的时间,默认是10800,单位是s,也就是3个小时。这个参数

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值