Linux切割log日志

一 简单实现

# head命令
# 开头n行
head -10000 java.log > javaHead.log
# tail命令
# 最后n行
tail -10000 java.log > javaTail.log
# sed命令
# 第N行截取到第M行 
sed -n '1,50000p' java.log > javaRange.log
# split命令
# 每300行切分生成一个新文件，–verbose 显示切分进度
split -l 300 java.txt javaLog --verbose
# 每10M切分成一个新的文件，–verbose 显示切分进度
split -d 10m java.txt javaLog --verbose

vi nginx-split.sh

# 拷贝日志文件到 昨天的log中 -b  split 可以进行文件切割，如果不需要文件的切割可以将 split -b 100k -d 换成 cp ，-b指定单个文件大小，-d 指定如果单个文件过大，进行切割时文件的后缀为数字
split -b 100k -d  /opt/nginx.log /opt/logs/nginx.log.`date -d yesterday +%Y%m%d-%H:%M:%S`.log
# 清空nginx.log 日志，这个地方于要写绝对路径，否则导致日志文件不会被清空
cat /dev/null > /opt/nginx.log

• 授权

  授予执行权限

  chmod u+x nginx-split.sh
  

• 加入定时器

  crontab -e
  

  #每隔1分钟执行一次
  */1 * * * * /opt/nginx-split.sh
  

如果日志文件比较大，MV是需要时间的，这段时间内的日志有可能丢失

日志切割工具logrotate

• 系统自带的日志切割的配置文件在/etc/logrotate.conf 和 /etc/logrotate.d/syslog 里
• logrotate可以在切割日志的同时，不丢失数据

vim  test-logsplit

/opt/my/test.log{
	daily
	#配置能有多少个日志文件，超过了就会将以前的删除
	rotate 10
	missingok
	notifempty
	minsize=1M
    maxsize=10M
    #等test.log 到这个大小就会进行日志切割,而不是切割后的日志文件
    size=1M
	sharedscripts
	postrotate
		cat /dev/null > /opt/my/test.log
		chmod 640 /opt/log/mylog.1       # 设置日志文件的权限
        chmod 640 /opt/log/mylog.2       # 设置其他分割后的日志文件的权限
	endscript
}

• 添加定时任务

  crontab -e
  

  # 每一分钟执行一次
  */1 * * * * /usr/sbin/logrotate -vf /opt/test-logsplit
  

• 查看定时任务列表,以及定时任务是否在正常执行

  crontab -l
  

• 配置文件是否正确

  logrotate -d /etc/logrotate.d/nginx
  

• 强制执行：

  ​​logrotate -f /etc/logrotate.d/nginx
  或 logrotate -f /etc/logrotate.conf
  

• 强制以调试模式执行

  ​​sudo /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx
  

• 显示详细清理过程

  ​​logrotate -v /etc/logrotate.d/nginx
  

• 定时任务生效

  service crond restart
  # 
  systemctl restart crond
  

• logrotate参数详解

  daily                     #指定转储周期为每天
  weekly                    #指定转储周期为每周；
  monthly                   #指定转储周期为每月；
  rotate count              #指定日志文件删除之前转储的次数，0指没有备份，5指保留5个备份；
  compress                  #通过gzip压缩转储以后的日志；
  nocompress                #不需要压缩时，用这个参数；
  delaycompress             #延迟压缩，和compress一起使用时，转储的日志文件到下一次转储时才压缩；
  nodelaycompress           #覆盖delaycompress选项，转储同时压缩；
  copytruncate              #用于还在打开中的日志文件，把当前日志备份并截断；
  nocopytruncate            #备份日志文件但是不截断；
  create mode owner group   #转储文件，使用指定的文件模式创建新的日志文件；
  nocreate                  #不建立新的日志文件；
  errors address            #专储时的错误信息发送到指定的Email地址；
  ifempty                   #即使是空文件也转储，这个是logrotate的缺省选项；
  notifempty                #如果是空文件的话，不转储；
  mail address              #把转储的日志文件发送到指定的E-mail地；
  nomail                    #转储时不发送日志文件；
  olddir directory          #转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统；
  noolddir                  #转储后的日志文件和当前日志文件放在同一个目录下；
  prerotate/endscript       #在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行；
  postrotate/endscript      #在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行；
  tabootext [+] list        #让logrotate不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave,v,和~ ；
  size size                 #当日志文件到达指定的大小时才转储，Size可以指定bytes(缺省)以及KB(sizek)或者MB(sizem)；
  postrotate <s> endscript  #日志轮换过后指定指定的脚本，endscript参数表示结束脚本；
  sharedscripts             #共享脚本,下面的postrotate <s> endscript中的脚本只执行一次即可；
  

• nginx日志
  vim /etc/logrotate.d/nginxLogrotate

  /home/APPDeploy/nginx-1.16.0/logs/*.log {               #日志文件所在的路径
          daily                                           #每天进行日志分割
          missingok                                       #在日志转储期间,任何错误将被忽略
          rotate 30                                       #保留30个备份
          compress                                        #通过gzip压缩转储以后的日志
          delaycompress                                   #delaycompress和compress一起使用时，转储的日志文件到下一次转储时才压缩，即这次切割的日志不压缩
          dateext                                         #日志后面带时间,如:nginx.access.log-20190516
          #dateformat -%Y%m%d%s                           #日志时间格式
          #dateyesterday                                  #如果定时任务时间设置的是0点就要配置此项,不然切割的内容是昨天的但是日志名却是当天的.
          notifempty                                      #当日志文件为空时，不进行轮转
          create 644 APPDeploy APPDeploy                  #轮转时指定创建新文件的属性
          sharedscripts                                   #运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
          postrotate                                      #在logrotate转储之后需要执行的指令，下面的脚本作用是让nginx将日志内容存储在新的日志文件中.
                  if [ -f /home/APPDeploy/nginx-1.16.0/run/nginx.pid ]; then
                          kill -USR1 `cat /home/APPDeploy/nginx-1.16.0/run/nginx.pid`
                  fi
          endscript
  }
  

  vim  nginx_cron
  
  # 同时切割两个日志
  
  /app/nginx/log/access.log{
  	daily
  	#配置能有多少个日志文件，超过了就会将以前的删除
  	rotate 10
  	missingok
  	notifempty
  	minsize=1M
      maxsize=10M
      #等log 到这个大小就会进行日志切割,而不是切割后的日志文件
      size=1M
  	sharedscripts
  	postrotate
  		cat /dev/null > /app/nginx/log/access.log
  	endscript
  }
  
  /app/nginx/log/error.log{
  	daily
  	#配置能有多少个日志文件，超过了就会将以前的删除
  	rotate 10
  	missingok
  	notifempty
  	minsize=1M
      maxsize=10M
      #等log 到这个大小就会进行日志切割,而不是切割后的日志文件
      size=1M
  	sharedscripts
  	postrotate
  		cat /dev/null > /app/nginx/log/error.log
  	endscript
  }
  

  # 通配符匹配多个文件
  /app/nginx/log/*.log{
     su root root
      daily
      rotate 5
      missingok
      notifempty
      dateext
      olddir /root
      create 644 root root
      postrotate
        cat /dev/null > /app/nginx/log/*.log
  endscript
  }
  

删除30天前的日志

# !/bin/sh
# 删除 Linux 系统 /opt/minio/logs 目录下30天前的.log 日志文件。
find /opt/minio/logs -mtime +30 -name '*.log' -exec rm -rf {} \;