spark中日志清理

最新推荐文章于 2024-09-23 09:35:35 发布

xubc

最新推荐文章于 2024-09-23 09:35:35 发布

阅读量3.4k

点赞数

分类专栏： spark 文章标签： yarn spark 日志清理

本文链接：https://blog.csdn.net/u011098327/article/details/81077370

版权

spark 专栏收录该内容

14 篇文章 1 订阅

订阅专栏

spark开启history-server之后，app日志会保存在制定的目录下，

若yarn开启日志收集，也需要进行app-logs的自动清理

## yarn日志收集
yarn.log-aggregation.retain-seconds = 1209600
yarn.log-aggregation.retain-check-interval-seconds = 86400


## spark-history日志
spark.history.fs.cleaner.enabled = true
spark.history.fs.cleaner.interval = 1d
spark.history.fs.cleaner.maxAge = 14d

## spark2-history日志
spark.history.fs.cleaner.enabled = true
spark.history.fs.cleaner.interval = 1d
spark.history.fs.cleaner.maxAge = 14d