在yarn集群上运行作业的时候,日志聚合是没有运行的。只有当整个作业完成的时候,才能将各个node上的日志上传到hadoop上。而且默认会删除本节点的日志删除,所以你无法从yarn的web查找日志了。
start aggerate
key : yarn.log-aggregation-enable
value : true
log dir
key : yarn.nodemanager.remote-app-log-dir
value : /var/hadoop/yarn
key : yarn.nodemanager.remote-app-log-dir