shell 处理将动态解析的日志文件

最新推荐文章于 2024-03-14 10:46:42 发布

不忘初心_jzy

最新推荐文章于 2024-03-14 10:46:42 发布

阅读量2.5k

点赞数

分类专栏： shell 脚本文章标签： shell 日志分割日志拆分 logrotate 动态分析日志

本文链接：https://blog.csdn.net/jiangzeyin_/article/details/76945534

版权

shell 脚本专栏收录该内容

12 篇文章 0 订阅

订阅专栏

有时候，我们需要对一些程序的日志文件进行数据分析，如果是我们自己处理和分析的情况下一般是使用程序读取对应日志文件按照对应规则保存到数据库然后再进行分析。
如果我们直接到日志文件进行分析，我们没有办法记录以及分析过的。因为日志文件是随时在增加的。但是我们程序读取到和处理一次时，没有办法确定是否有新的日志追加到里面。
那么如果直接读取第一行后删除第一行后再写入文件中。这样会造成日志丢失，所以这个方法是不可行的。那么既然直接读取不可行，就想其他的办法。在日志文件中我们都有一些习惯或者对应规则按照天拆分。也就是每当一天结束后，对应那天的日志文件会按照规则新生成一个文件，而不是当前正在使用的日志文件（老司机懂，新司机请自行脑补）

根据这个思路我们就读取备份的日志文件，这样就不会在当前日志造成丢失了。但是考虑到日志分析对按照天来读取，这样数据更新太慢不好，那么就想法指定周期读取如5分钟一次，10分钟一次，30分钟一次。。。。

具体看对应业务对数据更新速度要求，这样一来我们就可以实现去用程序动态解析日志文件了。按照指定周期拆分文件，大部分程序都有自己的配置规则，根据实际程序来定，这里举例说明nginx 没有自己的拆分规则。需要借助其他工具来拆分。
在linux 中可以使用logrotate 来实现似乎logrotate 中最小单位是天所以这里还是很推荐的一种方案，如果业务量大，一天的日志很可能上G

logrotate 不可以实现那么还是我们自己动手吧

#!/bin/bash
# 遍历目录下所有文件
function listPath(){
        for file in `ls $1`
        do
                if [ -d $1"/"$file ]; then
             listPath $1$file/
        else
                    path=$1$file
                        end=${path: -4}
                        if [ "$end" == ".log" ]; then
                                dologFile $path
                        fi
        fi

        done
}
# 处理日志文件
function dologFile(){
        if [ -s $1 ]; then
          time=$(date +%Y%m%d-%H%M%S)
          echo $1 $time
          mv $1 $1-$time
        fi
}
# 重新加载nginx 日志
function loadNginx(){
        echo "loadNginx"

        /bin/kill -USR1 `cat /run/nginx.pid 2>/dev/null` 2>/dev/null || true

        echo "end load"
}
# 删除过期文件
function delOverdueFile(){
        find $INIT_PATH -mtime +7 -name "*.*" | xargs rm -f
}
INIT_PATH="/var/log/nginx/log/"

listPath $INIT_PATH