Spark on YARN :yarn-cluster模式如何查看日志

Spark on YARN 两种模式yarn-cluster yarn-client
一:yarn-client 在运行时是可以看到日志的
而yarn-cluster是看不懂的,那么问题来了,如何查看日志呢

[hadoop@hadoop001 shell]$ yarn logs -applicationId application_1545664455577_0006

application_1545664455577_0006这个是在hadoop控制台上寻找

在这里插入图片描述

完成后
当这个application正常或者由于某种原因异常结束后,yarn默认会将所有日志归集到hdfs上,所以yarn也提供了一个查询已结束application日志的方法,即
yarn logs -applicationId application_1521424748238_0057,结果里面会包含所有executor的日志,可能会比较多,建议将结果重定向到一个文件再详细查看。

日志过大时添加参数:
yarn logs -applicationId application_1540869695351_0146 --size_limit_mb -1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值