2019-02-26 10:10:54
最近 Hgh这边有一个需求，需要对Linux服务器上的日志进行相应地自动化处理：
1) 定期清理：当分区的可使用空间超过一个预先设定好的阈值(如当分区的可使用空间超过 80 % 时)就自动清 理日志，清理周期是一天一次；
2) 按天分割：有的日志文件如 access.log 会不断地增长，现在需要对其进行分割操作(假设今天的日期是 2019 年 1 月 25 日，当时间到达 2019 年 1 月 26 日 0 点 0 分时，自动分割出一个 access.log.20190125 的日志文 件;
3) 压缩：对 access.log.20190125 这样的日志文件进行压缩，即生成压缩包 access.log.20190125.tar.gz 并删除日志文件 access.log.20190125 ；
4) 延迟压缩：有的开发可能需要查看最近几天的日志，为了方便开发查看日志，可对最近几天的日志文件进行延迟压缩的操作(假设今天的日期是 2019 年 1 月 25 日，根据开发的要求暂时不压缩最近一天的日志，则当时间到达 2019 年 1 月 26 日 0 点 0 分时，压缩的是 2019 年 1 月 24 日的日志文件 access.log.20190124 ，过了 24 小时以后再压缩 access.log.20190125 )。
部署：
1 、编写脚本，在命令行界面输入：
[root@host ~]# vi /root/log.sh
键入小写字母 i ，进入编辑模式，将 “ 附录 ” 中的 log.sh 复制粘贴进去。
按一次 ESC 键退出编辑模式，然后键入 “ :wq ” 保存并退出。
2 、创建并修改配置文件，在命令行界面输入：
[root@host ~]# vi /root/log.config
键入小写字母 i ，进入编辑模式，将 “ 附录 ” 中的 log.config 复制粘贴进去(请根据实际需要修改相应地配置)。
按一次 ESC 键退出编辑模式，然后键入 “ :wq ” 保存并退出。
3 、为上述脚本赋予可执行权限，并创建日志文件：
[root@host ~]# chmod +x /root/log.sh
[root@host ~]# touch /root/log.log
4 、让上述脚本每天凌晨 0 点 0 分自动运行一次，在命令行界面输入：
[root@host ~]# echo "0 0 * sh /root/log.sh" >> /var/spool/cron/root
至此，部署完成。
应用举例：
Hgh将会通过应用举例的方式来说明这个脚本具体是如何使用的。
举例用的操作系统版本号如下所示：
[root@host ~]# cat /etc/redhat-release
CentOS Linux release 7.0.1406 (Core)
[root@host ~]#
简单使用和定期清理日志：
1 、先创建一些日志文件用来模拟生产环境：
[root@host ~]# mkdir -p /www/log/applog/
[root@host ~]# mkdir -p /www/log/accesslog/
[root@host ~]# echo 123 > /www/log/applog/www.test.com.log
[root@host ~]# echo 123 > /www/log/applog/www.test.net.log
[root@host ~]# echo 123 > /www/log/accesslog/www.test.com.log
[root@host ~]# echo 123 > /www/log/accesslog/www.test.net.log.20190128.00
[root@host ~]# echo 123 > /www/log/accesslog/www.test.net.log.20190128.01
[root@host ~]# echo 123 > /www/log/accesslog/www.test.net.log.20190128.02
现在使用 tree 命令来看一下日志文件夹的目录结构：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]#
2 、修改配置文件，具体配置如下所示：
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
[root@host ~]#
这里解释说明一下上述配置的作用：
mount ：设置日志文件所在的挂载点，具体挂载点请用 df -h 命令查看；
mount_used_size_percent ：设置该挂载点最多可以使用多少空间，单位是百分比；
log_dir ：设置日志文件所在的文件夹，用于自动清理日志文件(从文件修改时间是最旧的日志文件开始删除，包括子文件夹下的日志文件)，直到上述挂载点的可使用空间最多不超过 mount_used_size_percent 这个百分比为止(除非日志文件已经全部删除完毕)；
log_format_regex ：是一串正则表达式，用于自定义待删除的日志文件格式，防止误删除。
和上述配置的举例、注意事项：
( 1 )log_format_regex 举例和注意事项：
如待删除的日志文件均为压缩格式，则这么配置即可(其中 ” \ ” 是转义字符，” | ” 是 ” 或 ” )：log_format_regex=(.tar|.gz|.tar.gz|.bz2|.tar.bz2|.bz|.tar.bz|.Z|.tar.Z|.tgz|.tar.tgz|.zip|.lha|.rar)$ ；
注意：请不要把 .log 这个关键字写入进去，因为很多正在写入的日志文件都是以 xxx.log 命名的，这些文件是不能匹配到并删除的。
和上述配置的取值范围：
mount ：该值必须配置且仅允许配置一次；
mount_used_size_percent ：该值必须配置且仅允许配置一次，取值范围在 50 ≤ x ≤ 85 之间；
log_dir ：该值必须配置且允许配置多次，如果文件夹不存在会将错误信息写入到日志文件 log.log 并终止运行；
log_format_regex ：该值必须配置且仅允许配置一次。
3 、现在我们来看看这个脚本是如何运行的，如果直接运行会弹出如下提示：
[root@host ~]# sh log.sh
Please run the script at 0 a.m.
[root@host ~]#
因为该脚本最主要的一个功能就是自动化按天分割日志文件，为了让该功能能够准确地运行，建议您在每天 0 点 0 分的时候才执行该脚本(或者说在每天 0 点 0 分的时候才执行 “ 按天分割日志 ” 的操作)，所以 这里限制了该脚本的运行时间(该脚本只允许在每天 0 点 0 分至 0 点 59 分之间运行)。
那如何调试脚本呢？您需要这么运行：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
即开启调试模式，强行让脚本执行起来(请不用在生产环境上调试，以免误删除重要文件)。
同时，log.config 配置文件和 log.log 该脚本的日志文件默认是放置在 /root/ 目录下的，如果您想自定义路径，可以这么运行脚本：
[root@host ~]# sh log.sh config_file=/ricky/log.config
config file ( /ricky/log.config ) not found !
[root@host ~]#
[root@host ~]# sh log.sh log_file=/ricky/log.log
log file ( /ricky/log.log ) not found !
[root@host ~]#
[root@host ~]# sh log.sh config_file=/ricky/log.config log_file=/ricky/log.log
config file ( /ricky/log.config ) not found !
[root@host ~]#
[root@host ~]# sh log.sh log_file=/ricky/log.log config_file=/ricky/log.config
config file ( /ricky/log.config ) not found !
[root@host ~]#
[root@host ~]# sh log.sh log_file=/ricky/log.log config_file=/ricky/log.config debug_mode=yes
config file ( /ricky/log.config ) not found !
[root@host ~]#
如上所示，脚本会自动判断 config_file 和 log_file 这两个文件是否存在；如果这两个文件不存在，脚本会终止运行。
4 、此时 /www/log/ 的目录结构和 log.config 配置文件如下所示：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]# cat /root/log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
[root@host ~]#
执行该脚本：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
脚本执行完毕后 /www/log/ 的目录结构和 log.log 日志文件如下所示：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]# cat /root/log.log
2019-01-29 09:35 - debug_mode is enabled ! Do NOT use in production environment !
2019-01-29 09:35 - Delete all the log files is completed , but did not reach the 50 % used precent !
2019-01-29 09:35 - === gz log ===
[root@host ~]#
此时 /www/log/ 目录结构无任何变化，因为我们在 log.config 配置文件里面配置了这两句：
log_dir=/www/log
log_format_regex=.tar.gz
所以脚本只会在 /www/log/ 目录(包括子目录)里删除文件名带有 tar.gz 字样的文件，而 /www/log 目录下并无带有 tar.gz 字样的文件。
此时 log.log 日志文件里还记录了一条日志：
2019-01-29 09:35 - Delete all the log files is completed , but did not reach the 50 % used precent !
该日志的意思是说所有的日志文件已经删除完毕了(因为确实也不存在文件名带有 tar.gz 字样的文件了)，但是挂载点 /www 的已使用空间依然超过了 50 % ，df -h 命令的执行结果如下所示：
[root@host ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 369M 3.6G 10% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda2 10G 6.5G 3.5G 66% /
/dev/sda5 48G 30G 18G 63% /www
/dev/sda1 197M 107M 90M 55% /boot
[root@host ~]#
5 、现在我们多创建几个文件再测试一次：
[root@host ~]# echo 456 > /www/log/accesslog/www.test.net.log.tar
[root@host ~]# echo 456 > /www/log/accesslog/www.test.net.log.tar.gz
[root@host ~]# echo 456 > /www/log/applog/www.test.net.log.tar
[root@host ~]# echo 456 > /www/log/applog/www.test.net.log.tar.gz
[root@host ~]# echo 456 > /www/log/applog/www.test.net.tar.gz.log
[root@host ~]#
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ ├── www.test.net.log.20190128.02
│ ├── www.test.net.log.tar
│ └── www.test.net.log.tar.gz
└── applog
├── www.test.com.log
├── www.test.net.log
├── www.test.net.log.tar
├── www.test.net.log.tar.gz
└── www.test.net.tar.gz.log
2 directories, 11 files
[root@host ~]#
执行该脚本：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
查看 /www/log/ 目录我们可以发现，凡是文件名带有 tar.gz 字样的文件都删除掉了：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ ├── www.test.net.log.20190128.02
│ └── www.test.net.log.tar
└── applog
├── www.test.com.log
├── www.test.net.log
└── www.test.net.log.tar
2 directories, 8 files
[root@host ~]#
6 、如果您只想删除以 .tar.gz 结尾的文件，只需要这么配置：
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz$
[root@host ~]#
加一个正则表达式里的 $ 符号即可(即只匹配以 .tar.gz 结尾的文件)，这样文件 www.test.net.tar.gz.log 就不会被删除了(亲测有效)。
7 、log_dir 允许配置多个值，如：
[root@host ~]# cat /root/log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log/accesslog
log_dir=/www/log/applog
log_dir=/tmp/applog
log_format_regex=.tar.gz
[root@host ~]#
脚本会预先判断这些文件夹是否存在，如果其中一个文件夹是不存在的，脚本会将错误信息写入到日志文件 log.log 并终止运行。具体报错信息如下所示：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]#
[root@host ~]# cat log.log
2019-01-29 15:17 - debug_mode is enabled ! Do NOT use in production environment !
2019-01-29 15:17 - log_dir /tmp/applog does not exist !
[root@host ~]#
按天分割日志：
1 、修改配置文件，具体配置如下所示：
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
cut_log=/www/log/accesslog/www.test.com.log
[root@host ~]#
这里解释说明一下上述配置的作用：
cut_log ：设置需要进行按天分割的日志文件的文件路径。
和上述配置的举例：
( 1 )cut_log 举例：
比如：cut_log=/www/accesslog/www.test.com/access.log ，假设今天的日期是 2019 年 1 月 29 日，那么到了 2019 年 1 月 30 日凌晨 0 点 0 分会分卷一份 access.log.20190129 出来。
允许设置多条，如：
cut_log=/www/accesslog/www.test.com/access.log
cut_log=/www/accesslog/www.test.net/access.log
也可以不设置，如：
cut_log=
和上述配置的取值范围：
cut_log ：该值可不配置且允许配置多次，日志文件路径必须是绝对路径，如果文件不存在会将错误信息写入到日志文件 log.log 并终止运行。
2 、此时 /www/log/ 的目录结构和 log.config 配置文件如下所示：
[root@host ~]# tree /www/log
/www/log
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]#
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
cut_log=/www/log/accesslog/www.test.com.log
cut_log=/www/log/applog/www.test.com.log
[root@host ~]#
当前两个日志文件 /www/log/accesslog/www.test.com.log 和 /www/log/applog/www.test.com.log 的内容如下所示：
[root@host ~]# cat /www/log/accesslog/www.test.com.log
123
[root@host ~]# cat /www/log/applog/www.test.com.log
123
[root@host ~]#
执行完脚本以后会发现多出了两个日志文件 /www/log/accesslog/www.test.com.log.20190129 和 /www/log/applog/www.test.com.log.20190129(假设执行脚本的时间是 2019 年 1 月 30 日 0 点 0 分)：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]#
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.com.log.20190129
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
├── www.test.com.log.20190129
└── www.test.net.log
2 directories, 8 files
[root@host ~]#
同时原日志文件已经被清空：
[root@host ~]# cat /www/log/accesslog/www.test.com.log
[root@host ~]# cat /www/log/applog/www.test.com.log
[root@host ~]# cat /www/log/accesslog/www.test.com.log.20190129
123
[root@host ~]# cat /www/log/applog/www.test.com.log.20190129
123
[root@host ~]#
3 、脚本会预先判断这些文件是否存在，如果其中一个文件是不存在的，脚本会将错误信息写入到日志文件 log.log 并终止运行。此时 /www/log/ 的目录结构和 log.config 配置文件如下所示：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]#
[root@host ~]#
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
cut_log=/www/log/accesslog/www.test.com.log
cut_log=/www/log/applog/www.test.com.log123
[root@host ~]#
具体报错信息如下所示：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]# cat log.log
2019-01-31 09:18 - debug_mode is enabled ! Do NOT use in production environment !
2019-01-31 09:18 - log_file /www/log/applog/www.test.com.log123 does not exist !
[root@host ~]#
压缩日志：
1 、修改配置文件，具体配置如下所示：
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
gz_log=/www/log/applog/www.test.com.log
gz_delay_day=
[root@host ~]#
这里解释说明一下上述配置的作用：
gz_log ：设置需要进行压缩的日志文件(支持自定义日期格式和模糊匹配)的文件路径；
gz_delay_day ：设置延迟压缩的天数。
和上述配置的举例：
( 1 )gz_log 举例：
支持自定义日期格式，其中：
” %YYYY ” 是年
” %MMMM ” 是月
” %DDDD ” 是日；
支持模糊匹配：比如文件 /tmp/app.log.2019-01-30-00 和 /tmp/app.log.2019-01-30-01 这两个文件 ，只需要这么设置 gz_log=/tmp/app.log.%YYYY-%MMMM-%DDDD 即可自动将上述两个文件一同打入压缩包 /tmp/app.log.2019-01-30.tar.gz 。
( 2 )gz_delay_day 举例：
支持延迟压缩日志文件：有的开发可能需要查看最近几天的日志，压缩后就不容易直接查看了；为了方便开发查看最近几天的日志，那么每天就不能压缩昨天的日志了，而是每天压缩前天或者大前天的日志，这样开发就还可以查看昨天或者前天的日志。比如：gz_delay_day=1 表示压缩昨天的日志，gz_delay_day=2 表示压缩前天的日志，gz_delay_day=3 表示压缩大前天的日志。
和上述配置的取值范围：
gz_log ：该值可不配置且允许配置多次，日志文件路径必须是绝对路径，如果文件不存在会将错误信息写入到日志文件 log.log 并终止运行；
gz_delay_day ：该值可不配置且仅允许配置一次，取值范围是 x ≥ 1 ，默认值是 1 。
2 、现在打算对日志文件 /www/log/applog/www.test.com.log 进行压缩，此时 /www/log/ 的目录结构和 log.config 配置文件如下所示：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log
└── www.test.net.log
2 directories, 6 files
[root@host ~]#
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
gz_log=/www/log/applog/www.test.com.log
gz_delay_day=
[root@host ~]#
当前日志文件 /www/log/applog/www.test.com.log 的内容如下所示：
[root@host ~]# cat /www/log/applog/www.test.com.log
123
[root@host ~]#
执行完脚本以后会发现多出了一个压缩包 www.test.com.log.tar.gz ，同时原日志文件 www.test.com.log 已经被删除：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
├── www.test.com.log.tar.gz
└── www.test.net.log
2 directories, 6 files
[root@host ~]#
我们解压看看：
[root@host ~]# mkdir /tmp/log/
[root@host ~]# mv /www/log/applog/www.test.com.log.tar.gz /tmp/log/
[root@host ~]# cd /tmp/log/
[root@host log]# tar zxf www.test.com.log.tar.gz
[root@host log]# ls
www.test.com.log www.test.com.log.tar.gz
[root@host log]#
[root@host log]# cat www.test.com.log
123
[root@host log]#
可以看到日志文件 www.test.com.log 就是原来那个。
3 、我们现在来看看自定义日期格式和模糊匹配的使用，现在我们要压缩：
/www/log/accesslog/www.test.net.log.20190128.00
/www/log/accesslog/www.test.net.log.20190128.01
/www/log/accesslog/www.test.net.log.20190128.02
这三个日志文件，此时 /www/log/ 的目录结构和 log.config 配置文件如下所示：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.net.log.20190128.00
│ ├── www.test.net.log.20190128.01
│ └── www.test.net.log.20190128.02
└── applog
└── www.test.net.log
2 directories, 5 files
[root@host ~]#
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
gz_log=/www/log/accesslog/www.test.net.log.%YYYY%MMMM%DDDD
gz_delay_day=3
[root@host ~]#
假设今天的日期是 2019 年 1 月 31 日，那么 30 日是昨天，29 日是前天，28 日是大前天，所以 gz_delay_day 的值为 3 。
执行完脚本以后会发现多出了一个压缩包 www.test.net.log.20190128.tar.gz ，同时三个日志文件已经被删除：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ └── www.test.net.log.20190128.tar.gz
└── applog
└── www.test.net.log
2 directories, 3 files
[root@host ~]#
我们同样解压出来看看：
[root@host ~]# mkdir /tmp/log_20190128/
[root@host ~]# mv /www/log/accesslog/www.test.net.log.20190128.tar.gz /tmp/log_20190128/
[root@host ~]# cd /tmp/log_20190128/
[root@host log_20190128]# tar zxf www.test.net.log.20190128.tar.gz
[root@host log_20190128]# ls
www.test.net.log.20190128.00 www.test.net.log.20190128.01 www.test.net.log.20190128.02 www.test.net.log.20190128.tar.gz
[root@host log_20190128]#
可以看到三个日志文件都在压缩包中。
4 、其他自定义日期格式的例子，假设有的程序已经能够每小时自动生成一个日志文件，例如：
/www/log/accesslog/www.test.net.log.2019-01-30-00
/www/log/accesslog/www.test.net.log.2019-01-30-01
/www/log/accesslog/www.test.net.log.2019-01-30-02
……
/www/log/accesslog/www.test.net.log.2019-01-30-23
那么只需要这么设置即可：
gz_log=/www/log/accesslog/www.test.net.log.%YYYY-%MMMM-%DDDD
这样，上述 24 个日志文件将会在 2019 年 1 月 31 日 0 点 0 分统一压缩进压缩包 www.test.net.log.2019-01-30.tar.gz ，然后再删除上述 24 个日志文件。
按天分割和压缩(延迟压缩)的功能是可以互相独立使用的；当然也可以结合起来使用，具体请看下方的 “ 综合应用 ” 。
综合应用：
现在有如下所示的四个日志文件：
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ └── www.test.com.log.20190129
└── applog
├── www.test.net.log
└── www.test.net.log.20190129
2 directories, 4 files
[root@host ~]#
现在的需求是：
( 1 )当 /www 的挂载点的可使用空间超过 50 % 时，自动删除 /www/log/ 目录下(包括子目录)文件名带有 tar.gz 字样的文件，以释放硬盘空间。
( 2 )假设今天的日期是 2019 年 1 月 30 日，当时间走到 2019 年 1 月 31 日 0 点 0 分时，需要对日志文件做一个分割：
/www/log/accesslog/www.test.com.log → /www/log/accesslog/www.test.com.log.20190130
/www/log/applog/www.test.net.log → /www/log/applog/www.test.net.log.20190130
( 3 )然后再对前天的日志文件进行一个压缩：
/www/log/accesslog/www.test.com.log.20190129 → /www/log/accesslog/www.test.com.log.20190129.tar.gz
/www/log/applog/www.test.net.log.20190129 → /www/log/applog/www.test.net.log.20190129.tar.gz
那么，log.config 配置文件只需要这么配置即可：
[root@host ~]# cat log.config
mount=/www
mount_used_size_percent=50
log_dir=/www/log
log_format_regex=.tar.gz
cut_log=/www/log/accesslog/www.test.com.log
cut_log=/www/log/applog/www.test.net.log
gz_log=/www/log/accesslog/www.test.com.log.%YYYY%MMMM%DDDD
gz_log=/www/log/applog/www.test.net.log.%YYYY%MMMM%DDDD
gz_delay_day=2
[root@host ~]#
执行脚本后，结果如下所示：
[root@host ~]# sh log.sh debug_mode=yes
debug_mode is enabled ! Do NOT use in production environment !
[root@host ~]#
[root@host ~]# tree /www/log/
/www/log/
├── accesslog
│ ├── www.test.com.log
│ ├── www.test.com.log.20190129.tar.gz
│ └── www.test.com.log.20190130
└── applog
├── www.test.net.log
├── www.test.net.log.20190129.tar.gz
└── www.test.net.log.20190130
2 directories, 6 files
[root@host ~]#
至此，该脚本介绍完毕。
附录：
1 、log.sh ：
#!/bin/bash
config_file="/root/log.config"
log_file="/root/log.log"
debug_mode="no"
for i in $* ; do
if [[ "$i" =~ "config_file=" ]] ; then
config_file=echo $i | awk -F'=' '{print $2}'
elif [[ "$i" =~ "log_file=" ]] ; then
log_file=echo $i | awk -F'=' '{print $2}'
elif [[ "$i" =~ "debug_mode=" ]] ; then
debug_mode=echo $i | awk -F'=' '{print $2}'
fi
done
if [ ! -f "$config_file" ] ; then
echo "config file ( $config_file ) not found !"
exit
fi
if [ ! -f "$log_file" ] ; then
echo "log file ( $log_file ) not found !"
exit
fi
if [ "$debug_mode" == "no" -a "date '+%H'" != "00" ] ; then
echo Please run the script at 0 a.m.
exit
elif [ "$debug_mode" != "no" ] ; then
debug_mode="yes"
echo debug_mode is enabled ! Do NOT use in production environment !
echo $(date "+%F %H:%M") - debug_mode is enabled ! Do NOT use in production environment ! >> $log_file
fi
#1. get mount
config_file_flag=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep -c "mount="
if [ $config_file_flag == 1 ] ; then
mount=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "mount=" | awk -F'=' '{print $2}'
elif [ $config_file_flag == 0 ] ; then
echo $(date "+%F %H:%M") - "mount parameter is not found !" >> $log_file
exit
else
echo $(date "+%F %H:%M") - "mount parameter is too many !" >> $log_file
exit
fi
if [ df -h | grep "$mount" | awk -F' ' '{print $5}' | awk -F'%' '{print $1}' | grep -c '^[[:digit:]]*$' == 0 ] ; then
echo $(date "+%F %H:%M") - "mount parameter is error !" >> $log_file
exit
fi
#2. get mount_used_size_percent
config_file_flag=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep -c "mount_used_size_percent="
if [ $config_file_flag == 1 ] ; then
mount_used_size_percent=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "mount_used_size_percent=" | awk -F'=' '{print $2}'
elif [ $config_file_flag == 0 ] ; then
echo $(date "+%F %H:%M") - "mount_used_size_percent parameter is not found !" >> $log_file
exit
else
echo $(date "+%F %H:%M") - "mount_used_size_percent parameter is too many !" >> $log_file
exit
fi
if [ echo $mount_used_size_percent | grep -c '^[[:digit:]]*$' == 0 ] ; then
echo $(date "+%F %H:%M") - "mount_used_size_percent parameter is not number !" >> $log_file
exit
fi
if [ $mount_used_size_percent -lt 50 ] ; then
echo $(date "+%F %H:%M") - "mount_used_size_percent parameter requires more than or equal to 50 !" >> $log_file
exit
elif [ $mount_used_size_percent -gt 85 ] ; then
echo $(date "+%F %H:%M") - "mount_used_size_percent parameter requires less than or equal to 85 !" >> $log_file
exit
fi
#3. get log_format_regex
config_file_flag=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep -c "log_format_regex="
if [ $config_file_flag == 1 ] ; then
log_format_regex=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "log_format_regex=" | awk -F'=' '{print $2}'
elif [ $config_file_flag == 0 ] ; then
echo $(date "+%F %H:%M") - "log_format_regex parameter is not found !" >> $log_file
exit
else
echo $(date "+%F %H:%M") - "log_format_regex parameter is too many !" >> $log_file
exit
fi
#4. get log_dir_list
config_file_flag=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep -c "log_dir="
if [ $config_file_flag -ge 1 ] ; then
log_dir_list=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "log_dir=" | awk -F'=' '{print $2}'
elif [ $config_file_flag == 0 ] ; then
echo $(date "+%F %H:%M") - "log_dir parameter is not found !" >> $log_file
exit
fi
for log_dir in $log_dir_list ; do
if [ ! -d "$log_dir" ] ; then
echo $(date "+%F %H:%M") - "log_dir $log_dir does not exist !" >> $log_file
exit
fi
done
#5. delete log file
while [ df -h | grep "$mount" | awk -F' ' '{print $5}' | awk -F'%' '{print $1}' -gt $mount_used_size_percent ] ; do
while_flag=""
for log_dir in $log_dir_list ; do
if [ find $log_dir -type f | grep -cE $log_format_regex -gt 0 ] ; then
find $log_dir -type f | grep -E $log_format_regex | xargs ls -ta | tail -1 | xargs rm -f
while_flag=$while_flag"1"
else
while_flag=$while_flag"0"
fi
done
if [ echo $while_flag | grep -c 1 == 0 ] ; then
echo $(date "+%F %H:%M") - "Delete all the log files is completed , but did not reach the $mount_used_size_percent % used precent !" >> $log_file
break
fi
done
#6. get cut_log_list
cut_log_list=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "cut_log=" | awk -F'=' '{print $2}'
for cut_log in $cut_log_list ; do
if [ ! -f "$cut_log" ] ; then
echo $(date "+%F %H:%M") - "cut_log $cut_log does not exist !" >> $log_file
exit
fi
done
#7. cut log
yesterday=$(date -d "$(date) -1 day" +%Y%m%d)
for cut_log in $cut_log_list ; do
cp $cut_log $cut_log.$yesterday && echo > $cut_log
done
#8. get gz_log_list
config_file_flag=cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep -c "gz_delay_day="
if [ $config_file_flag == 0 -o $config_file_flag == 1 ] ; then
if [ $config_file_flag == 1 ] ; then
gz_delay_day=`cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "gz_delay_day=" | awk -F'=' '{print $2}'`
elif [ $config_file_flag == 0 ] ; then
gz_delay_day=1
fi
if [ `echo $gz_delay_day | grep -c '^[[:digit:]]*$'` == 0 ] ; then
echo $(date "+%F %H:%M") - "gz_delay_day parameter is not number !" >> $log_file
exit
fi
if [ $gz_delay_day -lt 1 ] ; then
echo $(date "+%F %H:%M") - "gz_delay_day parameter requires more than or equal to 1 !" >> $log_file
exit
fi
gz_log_list=`cat $config_file | grep -v "#" | sed "s# ##g" | grep -vE "=$" | grep "gz_log=" | awk -F'=' '{print $2}'`
date_year=`date -d "$(date) - ${gz_delay_day} day" +%Y`
date_month=`date -d "$(date) - ${gz_delay_day} day" +%m`
date_day=`date -d "$(date) - ${gz_delay_day} day" +%d`
for gz_log in $gz_log_list ; do
gz_log=`echo $gz_log | sed "s#%YYYY#$date_year#g" | sed "s#%MMMM#$date_month#g" | sed "s#%DDDD#$date_day#g"`
if [ `ls "$gz_log"* | grep -v "${gz_log}.tar.gz" 2>/dev/null | wc -l` == 0 ] ; then
echo $(date "+%F %H:%M") - "gz_log $gz_log does not exist !" >> $log_file
exit
fi
done
elif [ $config_file_flag -gt 1 ] ; then
echo $(date "+%F %H:%M") - "gz_delay_day parameter is too many !" >> $log_file
exit
fi
#9. gz log
echo $(date "+%F %H:%M") - "=== gz log ===" >> $log_file
for gz_log in $gz_log_list ; do
gz_log=echo $gz_log | sed "s#%YYYY#$date_year#g" | sed "s#%MMMM#$date_month#g" | sed "s#%DDDD#$date_day#g"
cd dirname ${gz_log}
echo dirname ${gz_log}" :" >> $log_file
log_filename=basename ${gz_log}
tar zcvf ${log_filename}.tar.gz --exclude=.tar.gz ${log_filename} >> $log_file
ls ${log_filename}* | grep -v "${log_filename}.tar.gz" | xargs rm -f
done
echo "===========================" >> $log_file
2 、log.config ：
mount：设置日志文件所在的挂载点，如：mount=/www ，具体挂载点请用 df -h 命令查看。
mount 取值范围：该值必须配置且仅允许配置一次。
mount_used_size_percent：设置该挂载点最多可以使用多少空间，单位是百分比。
mount_used_size_percent 取值范围：该值必须配置且仅允许配置一次，取值范围在 50 ≤ x ≤ 85 之间。
mount=
mount_used_size_percent=
log_dir：设置日志文件所在的文件夹，如：log_dir=/www/accesslog ，用于自动清理日志文件(从文件修改时间是最旧的日志文件开始删除，包括子文件夹下的日志文件)，
直到上述挂载点的可使用空间最多不超过 mount_used_size_percent 这个百分比为止(除非日志文件已经全部删除完毕)。
log_dir 取值范围：该值必须配置且允许配置多次，如果文件夹不存在会将错误信息写入到日志文件 log.log 并终止运行。
允许设置多条，如：
log_dir=/www/accesslog
log_dir=/www/applog
log_dir=
log_format_regex：是一串正则表达式，用于自定义待删除的日志文件格式，防止误删除。
log_format_regex 取值范围：该值必须配置且仅允许配置一次。
1 、如待删除的日志文件均为压缩格式，则这么配置即可(其中 ” \ ” 是转义字符，” | ” 是 ” 或 ” )：
log_format_regex=(.tar|.gz|.tar.gz|.bz2|.tar.bz2|.bz|.tar.bz|.Z|.tar.Z|.tgz|.tar.tgz|.zip|.lha|.rar)$ ；
2 、注意：请不要把 .log 这个关键字写入进去，因为很多正在写入的日志文件都是以 xxx.log 命名的，这些文件是不能匹配到并删除的。
log_format_regex=
cut_log：设置需要进行按天分割的日志文件的文件路径。
cut_log 的取值范围：该值可不配置且允许配置多次，日志文件路径必须是绝对路径，如果文件不存在会将错误信息写入到日志文件 log.log 并终止运行。
1 、比如：cut_log=/www/accesslog/www.test.com/access.log ，假设今天的日期是 2019 年 1 月 29 日，那么到了 2019 年 1 月 30 日凌晨 0 点 0 分会分卷一份 access.log.20190129 出来。
2 、允许设置多条，如：
cut_log=/www/accesslog/www.test.com/access.log
cut_log=/www/accesslog/www.test.net/access.log
3 、也可以不设置，如：
cut_log=
cut_log=
gz_log：设置需要进行压缩的日志文件(支持自定义日期格式和模糊匹配)的文件路径。
gz_log 的取值范围：该值可不配置且允许配置多次，日志文件路径必须是绝对路径，如果文件不存在会将错误信息写入到日志文件 log.log 并终止运行。
1 、支持自定义日期格式，其中：
" %YYYY " 是年
" %MMMM " 是月
" %DDDD " 是日
2 、支持模糊匹配：
比如文件 /tmp/app.log.2019-01-30-00 和 /tmp/app.log.2019-01-30-01 这两个文件 ，
只需要这么设置 gz_log=/tmp/app.log.%YYYY-%MMMM-%DDDD 即可自动将上述两个文件一同打入压缩包 /tmp/app.log.2019-01-30.tar.gz 。
gz_delay_day：设置延迟压缩的天数。
gz_delay_day 的取值范围：该值可不配置且仅允许配置一次，取值范围是 x ≥ 1 ，默认值是 1 。
1 、支持延迟压缩日志文件：有的开发可能需要查看最近几天的日志，压缩后就不容易直接查看了；
为了方便开发查看最近几天的日志，那么每天就不能压缩昨天的日志了，而是每天压缩前天或者大前天的日志，这样开发就还可以查看昨天或者前天的日志。
比如：gz_delay_day=1 表示压缩昨天的日志，gz_delay_day=2 表示压缩前天的日志，gz_delay_day=3 表示压缩大前天的日志。
gz_log=
gz_delay_day=
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
