shell定时删除spark的applicationHistory历史文件

最新推荐文章于 2024-08-21 11:56:03 发布

mtj66

最新推荐文章于 2024-08-21 11:56:03 发布

阅读量4k

点赞数 1

分类专栏： spark shell 文章标签： spark shell

本文链接：https://blog.csdn.net/mtj66/article/details/80538409

版权

spark 同时被 2 个专栏收录

40 篇文章 24 订阅 ¥19.90 ¥99.00

订阅专栏

shell

6 篇文章 0 订阅

订阅专栏

本文提供了一个shell脚本，用于删除一个月前的Spark application历史文件，同时避免删除正在运行的Spark Streaming程序日志。脚本首先获取当前运行的Spark应用程序ID，然后筛选出符合条件的历史文件进行删除。

摘要由CSDN通过智能技术生成

################################################################
#删除很简单,但是不能删除一些正在运行的程序的日志,尤其是spark streaming 的日志文件,一旦删除无法再生,以后想查日志都难.
#下面的脚本实现删除一个月之前的spark application的历史文件,记录下,大伙可以参考修改使用.


#! /bash  
# delete 30 day's before spark history logs 
########################start ########################

days=30
day_01=`date -d "-${days} day" +%Y-%m-%d`
#running_array=(`yarn application -list | grep application_1 | awk '{print  $1}' > running.log `)
#running_array=(`more running.log`)
running_array=(`yarn application -list | grep application_1 | awk '{print  $1}' `)
len=${#running_array[*]} 
len=$(($len-1))


running_str

了解本专栏