日志文件分割和转存

第一种：按照天打成压缩包形式
1.logrotate日志分割配置：
创建配置文件 touch /etc/logrotate.d/test
在文件中添加：

/app/project/jiucaiyun/test/jiucaiyun-solr/nohup.out
{
nocompress
daily
copytruncate
create
ifempty
olddir /app/project/jiucaiyun/test/jiucaiyun-solr/log
rotate 0
}

/app/project/jiucaiyun/test/jiucaiyun-solr/nohup.out是要分割的文件
参数含义：

compress                                   通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                           备份日志文件不过不截断
create mode owner group             轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                                    不建立新的日志文件
delaycompress                           和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                        覆盖 delaycompress 选项，转储同时压缩。
missingok                                 如果日志丢失，不报错继续滚动下一个日志
errors address                           专储时的错误信息发送到指定的Email 地址
ifempty                                    即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                               当日志文件为空时，不进行轮转
mail address                             把转储的日志文件发送到指定的E-mail 地址
nomail                                     转储时不发送日志文件
olddir directory                         转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                           运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate                                 在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate                               在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily                                       指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                  指定转储周期为每月
rotate count                            指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                                  使用当期日期作为命名格式
dateformat .%s                       配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size            当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

2.定义日志分割脚本
创建脚本文件：
touch /usr/sbin/logrotate-test.sh
文件内容：

#创建转储日志压缩存放目录
mkdir -p /app/project/jiucaiyun/test/jiucaiyun-solr/log
#手工对nginx日志进行切割转换
/usr/sbin/logrotate -vf /etc/logrotate.d/testt
#当前时间
time=$(date -d "yesterday" +"%Y-%m-%d")
#进入转储日志存放目录
cd /app/project/jiucaiyun/test/jiucaiyun-solr/log
#对目录中的转储日志文件的文件名进行统一转换
for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")
do
mv ${i} ./$(echo ${i}|sed -n 's/^\(.*\)\.\([[:digit:]]\)$/\1/p')-$(echo $time)
done
#对转储的日志文件进行压缩存放，并删除原有转储的日志文件，只保存压缩后的日志文件。以节约存储空间
for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")
do
tar jcvf ${i}.bz2 ./${i}
rm -rf ./${i}
done
#只保留最近7天的压缩转储日志文件
find /app/project/jiucaiyun/test/jiucaiyun-solr/log/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;

3.配置定时
crontab -e

0 0 * * * /bin/bash -x /usr/sbin/logrotate-test.sh > /dev/null 2>&1

4.手动执行脚本，测试下看看：

/bin/bash -x /usr/sbin/logrotate-test.sh
cd /app/project/jiucaiyun/test/jiucaiyun-solr/log
ls

 

第二种：每天的拆分成多个小的文件
1.创建拆分脚本文件：
touch /usr/sbin/logrotate-day.sh
内容是：

this_path=$(cd '/app/project/jiucaiyun/test/jiucaiyun-solr';pwd)
cd $this_path
echo $this_path  
current_date=$(date -d "yesterday" +"%Y-%m-%d")
echo $current_date  
split -b 100 -d -a 4 /app/project/jiucaiyun/test/jiucaiyun-solr/output.log   /app/project/jiucaiyun/test/jiucaiyun-solr/log/log_${current_date}_
cat /dev/null > output.log

2.配置定时
crontab -e

0 0 * * * /bin/bash -x /usr/sbin/logrotate-day.sh > /dev/null 2>&1

3.手动执行脚本，测试下看看：

/bin/bash -x /usr/sbin/logrotate-day.sh
cd /app/project/jiucaiyun/test/jiucaiyun-solr/log
ls