shell的一个不错的定期清理脚本

最新推荐文章于 2023-02-10 17:54:03 发布
最新推荐文章于 2023-02-10 17:54:03 发布
阅读量665 收藏 1
点赞数
分类专栏： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19646075/article/details/51264043
版权

最近写了一个删除脚本，用于定期删除某些文件夹中的数据，该脚本需要如下参数：
①设置删除的目录
②该目录最少保留的时间，如3天
③该目录最多保留的时间，如30天
④该目录最大空间大小，如10G
⑤该目录所在磁盘分区的最大使用量，如80%
以上三个条件只要满足其中一条，便开始删除目录中30天前的数据，然后检查，若仍然满足，则继续删除29天前的数据，如此循环，直至磁盘分区使用量小于80%
改进：刚开始使用的是exit，但是这有个问题就是，如果要定期清理多个目录，就无法满足需求了，因为检查了第一个目录整个脚本就exit退出，而用return就ok，只会退出当前函数，会继续检查下一个目录
以下是脚本内容：粗略测试了一下，没什么问题，欢迎大家一起测试

最近做了个改版的，取消设置目录最大大小，触发条件仅为分区使用量，因为设置最大目录大小感觉很鸡肋

#!/bin/bash
:<<block
    author:@michaelzeng
    date:2016-04-27
block
loglevel=0 #debug:0; info:1; warn:2; error:3
logdir=/data/logs/diskchk
logfile=${logdir}/diskchk.log
test -d $logdir || mkdir -p $logdir
function log {
    local msg;local logtype
        logtype=$1
        msg=$2
        datetime=`date +'%F %H:%M:%S'`
        logformat="[${logtype}]\t${datetime}\tfuncname: ${FUNCNAME[@]/log/} [line:`caller 0 | awk '{print$1}'`]\t${msg}"
        {
        case $logtype in
                debug)
                        [[ $loglevel -le 0 ]] && echo -e "\033[30m${logformat}\033[0m" ;;
                info)
                        [[ $loglevel -le 1 ]] && echo -e "\033[32m${logformat}\033[0m" ;;
                warn)
                        [[ $loglevel -le 2 ]] && echo -e "\033[33m${logformat}\033[0m" ;;
                error)
                        [[ $loglevel -le 3 ]] && echo -e "\033[31m${logformat}\033[0m" ;;
        esac
        } >> $logfile
        #} | tee -a $logfile
}

function check()
{
    #检查目录,确保目录不在以下目录，以免被误删
    notdeldir='/ /boot /boot/ /var /var/ /lib/ /lib /etc /etc/ /bin /bin/ /lib64  /lib64/ /usr/ /usr  /apps /apps/ /boot_ucloud /boot_ucloud/ /data /data/ /dev /dev/ /home /home/ /lost+found /lost+found/ /media /media/ /mnt /mnt/ /opt /opt/ /proc /proc/ /root /root/ /sbin /sbin/ /selinux /selinux/ /srv /srv/'
    local src_dir=$1
    for blackdir in $notdeldir;
    do
        if [[ $src_dir == $blackdir ]];then
            log error "$src_dir:can't delete this directory"
            return 10
        fi
    done
    return 0
}
function chkuse()
{
    local src_dir=$1
    local partition;local par_size;local disk_ppc
    partition=`df -Ph $src_dir|awk '/dev/{print $6}'`
    par_size=`df -Ph $src_dir|awk '/dev/{print $2}'|tr -d G`
    disk_ppc=`df -Ph $src_dir|awk '/dev/{print $5}'|tr -d %`
    if [ ${disk_ppc} -le ${use} ]; then
        log info "partition:$partition; use:${disk_ppc}%,$src_dir dir is ok"
        return 1
    else
        log info "partition:$partition; use:${disk_ppc}%,we will clean dir:$src_dir"
        return 0
    fi
}
function clean()
{   
    #满足删除条件时，删除文件直到分区用量小于$use
    paracount=3
    if [ $# -eq $paracount ]; then
        local src_dir=$1
        local min_tmd=$2
        local max_tmd=$3
    else
        return 1
    fi
    local disk_ppc=0
    #目录所在分区,分区大小,分区已用量
    chkuse $src_dir
    if [ $? -eq 1 ]; then
        #log debug "disk:$partition; use:${disk_ppc}%,no need to clean"
        return 4
    else
        local delfile
        delfile=$(find ${src_dir} -type f -mtime +${max_tmd})
        if [[ -n $delfile ]];then
            log debug "delete file ${max_tmd} days ago;in dir:$src_dir;delete file : $delfile"
            for file in $delfile;do rm -f $file;done
            #for file in $delfile;do echo $file;done
        fi
    fi
}
# MIN_TMD 保留最短时间(天为单位)
# MAX_TMD 保留最长时间(天为单位)
function do_clean()
{
    PARACOUNT=3
    if [ $# -eq $PARACOUNT ]; then
        local SRC_DIR=$1
        local MIN_TMD=$2
        local MAX_TMD=$3
    else
        echo "Usage: ${FUNCNAME[@]} <SRC_DIR> <MIN_TMD> <MAX_TMD>"
        log debug "need $PARACOUNT parameters,but give:$#"
        return 1
    fi
    if [ ${MAX_TMD} -lt ${MIN_TMD} ]; then
        log debug "para MAX_TMD should be biger than MIN_TMD"
        return 2
    fi
    if [ ! -d "$SRC_DIR" ];then
        log debug "$SRC_DIR: No such directory"
        return 3
    fi
    check $SRC_DIR
    if [ $? -eq 0 ];then
        #删除大于$MAX_TMD天的文件
        local delfile
        delfile=$(find ${SRC_DIR} -type f -mtime +${MAX_TMD})
        if [[ -n $delfile ]];then
            log debug "delete file that ${MAX_TMD} days ago,in dir:$SRC_DIR,file:${delfile}"
            for file in $delfile;do rm -f $file;done
            #for file in $delfile;do echo $file;done
        fi
        #开始循环检查
        chkuse ${SRC_DIR}
        if [[ $? -eq 0 ]];then
            ((TM=MAX_TMD))
            COUNT=$(( MAX_TMD-MIN_TMD ))
            for(( i=0; i<=COUNT;i++ ))
            do
                clean "$SRC_DIR" "$MIN_TMD" "$TM"
                if [ $? -eq 4 ]; then
                    break
                fi
                if [ ${TM} -gt ${MIN_TMD} ]; then
                    (( TM=TM-1 ))
                else
                    #达到最少保留天数限制，则找出大于8G的大文件，清空
                    log warn "still not enough space,we will find the big file and clean it"
                    bigfile=$(find ${SRC_DIR} -type f -size +${max_filesize})
                    if [[ -n $bigfile ]];then
                        log debug "clean the filesize -gt ${max_filesize},bigfile is $bigfile"
                        for f in $bigfile;do echo '' > $f;done
                        chkuse ${SRC_DIR}
                        break
                    fi
                fi
            done
        fi
    fi
}
##################  main  ###################
#举个栗子:/var/spool/clientmqueue/目录,最少保留3天,最多保留30天
use=75 #定义某分区最大使用量
max_filesize=8G #定义最大文件大小，当达到最少保留天数限制时，清空该文件
#do_clean /var/spool/clientmqueue/ 3 10
do_clean /data/logs/ 3 10
do_clean /data/backup/ 3 10

最初版本：

#!/bin/bash
:<<block
    author:@michaelzeng
    date:2016-04-27
block
use=30 #定义某分区最大使用量
loglevel=0 #debug:0; info:1; warn:2; error:3
logfile=${0%.*}".log"
function log {
        local msg;local logtype
        logtype=$1
        msg=$2
        datetime=`date +'%F %H:%M:%S'`
        #logformat="[${logtype}]\t${datetime}\tfuncname:${FUNCNAME[@]}\t[line:$LINENO]\t${msg}"
        logformat="[${logtype}]\t${datetime}\tfuncname: ${FUNCNAME[@]/log/} [line:`caller 0 | awk '{print$1}'`]\t${msg}"
        {
        case $logtype in
                debug)
                        [[ $loglevel -le 0 ]] && echo -e "\033[30m${logformat}\033[0m" $logflag;;
                info)
                        [[ $loglevel -le 1 ]] && echo -e "\033[32m${logformat}\033[0m" $logflag;;
                warn)
                        [[ $loglevel -le 2 ]] && echo -e "\033[33m${logformat}\033[0m" $logflag;;
                error)
                        [[ $loglevel -le 3 ]] && echo -e "\033[31m${logformat}\033[0m" $logflag;;
        esac
        #} >> $logfile
        } | tee -a $logfile
}

function check()
{
    #检查目录,确保目录不在以下目录，以免被误删
    notdeldir='/ /boot /boot/ /var /var/ /lib/ /lib /etc /etc/ /bin /bin/ /lib64  /lib64/ /usr/ /usr  /apps /apps/ /boot_ucloud /boot_ucloud/ /data /data/ /dev /dev/ /home /home/ /lost+found /lost+found/ /media /media/ /mnt /mnt/ /opt /opt/ /proc /proc/ /root /root/ /sbin /sbin/ /selinux /selinux/ /srv /srv/'
    local src_dir=$1
    for blackdir in $notdeldir;
    do
        if [[ $src_dir == $blackdir ]];then
            log error "$src_dir:can't delete this directory"
            return 10
        fi
    done
    return 0
}
function clean()
{   
    #满足删除条件时，删除文件直到分区用量小于$use
    paracount=4
    if [ $# -eq $paracount ]; then
        local src_dir=$1
        local min_tmd=$2
        local max_tmd=$3
        local max_dsk=$4
    else
        return 1
    fi
    local disk_ppc=0
    #目录所在分区,分区大小,分区已用量
    partition=`df -Ph $src_dir|awk '/dev/{print $6}'`
    par_size=`df -Ph $src_dir|awk '/dev/{print $2}'|tr -d G`
    disk_ppc=`df -Ph $src_dir|awk '/dev/{print $5}'|tr -d %`
    if [ ${disk_ppc} -le ${use} ]; then
        log debug "disk:$partition; use:${disk_ppc}%,no need to clean"
        return 4
    fi
    #检查设置的目录最大大小是否小于分区的$use%
    max_use=$((par_size*use/100))
    if [ $max_dsk -gt $max_use ];then
        #echo "目录最大使用量设置错误，需小于所在分区大小的${use}%"
        #max_dsk改为分区大小的${use}%
        log warn "parameter MAX_GB:$max_dsk > ${par_size}*${use}/100,set default:par_size*use/100"
        max_dsk=$max_use
    fi
    #目录大小
    local src_dir_sz=`du --summarize --block-size=1G ${src_dir} | awk '{print $1}'`
    if [ ${src_dir_sz} -gt ${max_dsk} ]; then
        #找出${src_dir}中${max_tmd}天前以日期命名的目录并删除直到，${src_dir}空间大小小于${max_dsk} 
        local delfile
        delfile=$(find ${src_dir} -type f -mtime +${max_tmd} | egrep "`date +%Y`")
        log debug "in dir:$src_dir;delete file : $delfile"
        #find ${src_dir} -type f -mtime +${max_tmd} | egrep "`date +%Y`" |xargs -i rm -f {}
    else
        return 5
    fi
}
# MIN_TMD 保留最短时间(天为单位)
# MAX_TMD 保留最长时间(天为单位)
# MAX_GB 目录最多存储空间(GB为单位)
# 清理数据按1小时清理直到空间小于MAX_GB
function do_clean()
{
    PARACOUNT=4
    if [ $# -eq $PARACOUNT ]; then
        local SRC_DIR=$1
        local MIN_TMD=$2
        local MAX_TMD=$3
        local MAX_GB=$4
    else
        echo "Usage: ${FUNCNAME[@]} <SRC_DIR> <MIN_TMD> <MAX_TMD> <MAX_GB>"
        log debug "need $PARACOUNT parameters,but give:$#"
        return 1
    fi
    if [ ${MAX_TMD} -lt ${MIN_TMD} ]; then
        log debug "para MAX_TMD should be biger than MIN_TMD"
        return 2
    fi
    if [ ! -d "$SRC_DIR" ];then
        log debug "$SRC_DIR: No such directory"
        return 3
    fi
    check $SRC_DIR
    if [ $? -eq 0 ];then
        #删除大于$MAX_TMD天的文件
        local delfile
        delfile=$(find ${SRC_DIR} -type f -mtime +${MAX_TMD} | egrep "`date +%Y`")
        [[ -n $delfile ]] && log info "delete file that ${MAX_TMD} days ago,in dir:$SRC_DIR,file:${delfile}"
        #开始循环检查
        (( TM=MAX_TMD ))
        for(( i=0; i<MAX_TMD; i++ ))
        do
            if [ ${TM} -gt ${MIN_TMD} ]; then
                (( TM=TM-1 ))
            else
                break
            fi
            log info "check dir:${SRC_DIR} that ${TM} days ago"
            clean "$SRC_DIR" "$MIN_TMD" "$TM" "$MAX_GB"
            if [ $? -eq 5 ]; then
                break
            fi
        done
    fi
}
##################  main  ###################
#举个栗子:/var/spool/clientmqueue/目录,最少保留3天,最多保留30天,最大1G
do_clean /var/spool/clientmqueue/ 3 30 1
do_clean /media 3 30 1 #禁止删除
do_clean /media/ 3 30 1 #禁止删除
#最大目录大小10G大于分区大小的最大使用量30%
do_clean /media/CentOS 3 30 10 
do_clean #参数错误
奔跑吧--菜鸟
关注
专栏目录
Shell脚本定期清空大于1G的日志文件
09-15
总的来说，编写这样的Shell脚本是解决大日志文件问题的一个有效方法，它结合了文件系统操作、条件判断和文本处理工具，实现了自动化日志管理。在日常运维中，根据实际需求，可以对脚本进行适当修改，适应不同场景下...
shell定时清理日志文件、及crontab说明
weixin_40482816的博客
10-08 2961
服务器日志文件一般是每天一个或多个文件，如果日志文件不清理，时间久了就会将磁盘空间占满，从而影响系统的正常运行。
定时清理文件shell脚本
weixin_38168918的博客
01-17 519
一个测试机上部署多个应用，总是经常出现磁盘空间已满，不能部署应用的情况，所以写了个小脚本，用于定时清理日志，避免出现这种情况。1、如果是清理固定路径下的文件，可以直接用命令方式。 命令方式 （1)编写命令： find /*/logs -name 'catalina.out*.log' -and -mtime +7 测试方法：把路径中的*变...
Shell 定时清理小脚本
weixin_33859665的博客
11-10 95
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux 定时删除文件或文件夹的shell脚本
热门推荐
luozhuwang的专栏
09-13 3万+
一、删除XX天(默认10天)之前某个目录下面带.log的日志文件，并且输出文件显示删除的文件 #!/bin/sh #如果没有输入变量值，默认天数为10 start=$(date +%y-%m-%d-%H%M%m) File=/temp/delete_$start.txt FilePath=/data echo $File if [ ! -n "$1" ]; then day=10 el...
shell脚本定时删除文件
Zhtt的博客
08-02 1万+
项目中需要定时清理文件夹中的过期文件（本篇文章指定3天前即为过期），百度了几篇博文记录下实现过程 这篇博文是在之后写的，当时的参考博文就没有再找了，有需要的小伙伴可以自行搜索 1.编辑shell脚本，删除指定文件夹下的文件，脚本如下： vi delete.sh #！ /bin/bash data_path="/home/test01" expire_time=3 function(){ loc...
Shell脚本自动备份MySQL到FTP并定期清理过期备份
09-10
【Shell脚本自动备份MySQL到FTP并定期清理过期备份】是Linux系统中常用的一种自动化运维策略，旨在提高数据安全性和管理效率。以下是对这一主题的详细解释： 1. **Shell脚本**：Shell脚本是Linux/Unix操作系统中...
一个测试下载速度的shell脚本
09-15
### 一个测试下载速度的Shell脚本 #### 概述 本文将详细介绍一个用于测试Linux系统下文件下载速度的Shell脚本。此脚本通过使用`scp`命令来进行文件传输，并记录传输过程中所需的时间，从而计算出下载速度。这对于...
Shell脚本编程以及几个Shell脚本例子
12-15
一个简单的Shell脚本通常以`#!/bin/bash`作为首行，这是告诉系统使用Bash Shell解释器来执行后续的命令。然后，你可以开始编写你的命令，每个命令之间用换行符分隔。注释可以在行首添加，以`#`字符开头。 Shell脚本...
shell脚本定时清除日志文件
qq_40761737的博客
02-10 1382
shell脚本定时清除日志文件
定时删除oracle日志脚本
03-07
此脚本为定时删除oracle日志脚本，下载直接可用。欢迎围观
定期删除文件脚本
Pichairen
10-14 690
【代码】定期删除文件脚本。
一分钟学会定时删除日志的 Shell 脚本
良月柒
03-27 1万+
创建删除脚本 创建一个 deletelog.sh 文件，内容如下 #!/bin/bash find/root/test/-mtime+30-name"*.log"|xargs-imv{}/root/RecycleBin/; find/root/RecycleBin/-name"*.log"-execrm-rf{}\; 解读文件中的第一条命令： fi...
php怎么实现定时清理数据,ThinkPHP框架——实现定时任务，定时更新、清理数据...
weixin_36149538的博客
03-28 837
大家好，我是小蜗牛，今天给大家分享一下，如何用ThinkPHP5.1.*版本实现定时任务，例如凌晨12点更新数据、每隔10秒检测过期会员、每隔几分钟发送请求保证ip的活性等本次分享，主要用到一个名为EasyTask的扩展。那么什么是EasyTask呢？又怎么安装呢？什么是EasyTaskEasyTask是一款简单易用的PHP常驻内存定时器，可以用它来完成重复运行的任务(如订单超时自动取消,短信邮件...
shell编程：脚本实现定期清理文件
hua_ge_zui_liang的博客
09-24 1178
shell脚本定期清理日志文件 #定期清理规定多少天前的日志文件：/opt/logs下面的文件 #clear_log.sh #!bin/bash # 日志目录 log_dir=$1 # 超过多少天的日志会被清理 old_days=$2 # 当前时间(秒) time_now=`date +"%s"` # 期限 limit=$((3600*24*$old_days)) # 获取所有文件 files=`ls $log_dir` for file in $files do time_chg=`st
shell脚本输出格式化日志信息
运维@小兵的博客
11-25 1322
function log() { local LOG_LEVEL=$1 local LOG_INFO=$2 case ${LOG_LEVEL} in "INFO") echo -e "\033[32mINFO: ${LOG_INFO}\033[0m" ;; "ERROR") echo -e "\033[31mERROR: ${LOG_INFO}\033[0m" ;; *) echo -e "${@}" ;; esac return 0 } log ERROR “Script fil
shell脚本：定期删除日志文件
程序员
10-30 1万+
服务器中产生的日志有时会占满硬盘空间，因此需要定时对其清除。下面写了个脚本，实现删除上一个月的日志。 1.代码#!/bin/bashyy=`date +%Y` #获取年 mm=`date +%m` #获取月，如果是9月，得到的是09；如果是10月得到的是10 #mm=1 #echo ${mm} if [ ${mm} -eq 1 ] #如果是1月份，其前一月是前一年的12月份 then
win下定时删除几天前文件BAT脚本
Small_nie
04-03 1万+
参考：Windows 定时删除指定路径下N天前的日志文件 bat脚本定时删除几天前文件： forfiles /p "C:\Users\Administrator\Documents\Navicat\MySQL\servers" /s /m *.psc /d -1 /c "cmd /c move @path C:\backdata" forfiles /p "C:\backdata" /s /m...
Linux 定时清理缓存的脚本
liumangjuntuan的博客
07-31 1067
代码需要在root 用户下执行，直接看代码。 # coding=utf-8 # author: bogger # create: 2019-07-31 # version: 1.0 # todo: # 该脚本在root用户下运行，定时清理linux 缓存，默认是20分钟执行一次 ####################################################...
定期清理的shell脚本
最新发布
02-10
以下是一个简单的定期清理的shell脚本示例： ```shell #!/bin/bash # 设置要清理的目录路径 cleanup_dir="/path/to/cleanup" # 设置要清理的文件类型 file_extension=".log" # 设置要保留的最近几天的文件 keep_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值