netapp脚本保存日志_Linux系统学习系列——Linux系统日志管理（下 )

Linux日志轮替(日志转储)及logrotate配置文件分析

日志是重要的系统文件，记录和保存了系统中所有的重要事件。但是日志文件也需要进行定期的维护，因为日志文件是不断增长的，如果完全不进行日志维护，而任由其随意递增，那么用不了多久，我们的硬盘就会被写满。

日志维护的最主要的工作就是把旧的日志文件删除，从而腾出空间保存新的日志文件。这项工作如果靠管理员手工来完成，那其实是非常烦琐的，而且也容易忘记。那么 Linux 系统是否可以自动完成日志的轮替工作呢？

logrotate 就是用来进行日志轮替(也叫日志转储)的，也就是把旧的日志文件移动并改名，同时创建一个新的空日志文件用来记录新日志，当旧日志文件超出保存的范围时就删除。

需要Linux资料以及Linux入门资料+qun832218493获取

日志文件的命名规则

日志轮替最主要的作用就是把旧的日志文件移动并改名，同时建立新的空日志文件，当旧日志文件超出保存的范围时就删除。那么，旧的日志文件改名之后，如何命名呢？主要依靠 /etc/logrotate.conf 配置文件中的“dateext”参数。

如果配置文件中有“dateext”参数，那么日志会用日期来作为日志文件的后缀，如“secure-20130605”。这样日志文件名不会重叠，也就不需要对日志文件进行改名，只需要保存指定的日志个数，删除多余的日志文件即可。

如果配置文件中没有“dateext”参数，那么日志文件就需要进行改名了。当第一次进行日志轮替时，当前的“secure”日志会自动改名为“secure.1”，然后新建“secure”日志，用来保存新的日志；当第二次进行日志轮替时，“secure.1”会自动改名为“secure.2”，当前的“secure”日志会自动改名为“secure.1”，然后也会新建“secure”日志，用来保存新的日志；以此类推。

logrotate配置文件

我们来查看一下 logrotate 的配置文件 /etc/logrotate.conf 的默认内容。

[root@localhost ~]# vi /etc/logrotate.conf#see "man logrotate" for details#rotate log files weeklyweekly#每周对日志文件进行一次轮替#keep 4 weeks worth of backlogs rotate 4#保存4个日志文件,也就是说,如果进行了5次日志轮替，就会删除第一个备份曰志#create new (empty) log files after rotating old ones create#在日志轮替时,自动创建新的日志文件#use date as a suffix of the rotated file dateext#使用日期作为日志轮替文件的后缀#uncomment this if you want your log files compressed #compress#日志文件是否压缩。如果取消注释,则日志会在转储的同时进行压缩#以上日志配置为默认配置,如果需要轮替的日志没有设定独立的参数,那么都会遵循以上参数#如果轮替曰志配置了独立参数,那么独立参数的优先级更高#RPM packages drop log rotation information into this directory include /etc/logrotate.d#包含/etc/logrotate.d/目录中所有的子配置文件。也就是说,会把这个目录中所有的子配置文件读取进来，进行日志轮替#no packages own wtmp and btmp -- we'11 rotate them here#以下两个轮替曰志有自己的独立参数，如果和默认的参数冲突，则独立参数生效/var/log/wtmp {#以下参数仅对此目录有效monthly#每月对日志文件进行一次轮替create 0664 root utmp#建立的新日志文件,权限是0664,所有者是root,所属组是utmp组minsize 1M#日志文件最小轮替大小是1MB。也就是日志一定要超过1MB才会轮替，否则就算时间达到一个月，也不进行曰志轮替rotate 1#仅保留一个曰志备份。也就是只保留wtmp和wtmp.1曰志)/var/log/btmp {#以下参数只对/var/log/btmp生效missingok#如果日志不存在,则忽略该日志的警告信患monthlycreate 0600 root utmprotate 1}# system-specific logs may be also be configured here.

• 在这个配置文件中，主要分为三部分：第一部分是默认设置，如果需要转储的日志文件没有特殊配置，则遵循默认设置的参数；
• 第二部分是读取 /etc/logrotate.d/ 目录中的日志轮替的子配置文件，也就是说，在 /etc/logrotate.d/ 目录中的所有符合语法规则的子配置文件也会进行日志轮替；
• 第三部分是对 wtmp 和 btmp 日志文件的轮替进行设定，如果此设定和默认参数冲突，则当前设定生效(如 wtmp 的当前参数设定的轮替时间是每月，而默认参数的轮替时间是每周，则对 wtmp 这个日志文件来说，轮替时间是每月，当前的设定参数生效)。

logrotate 配置文件的主要参数如表 1 所示。

这些参数中较为难理解的应该是 prerotate/endscript 和 postrotate/endscript，我们利用“man logrotate”中的例子来解释一下这两个参数。例如：

"/var/log/httpd/access.log" /var/log/httpd/error.log {#日志轮替的是/var/log/httpd/中RPM包默认安装的apache正确访问日志和错误日志    rotate 5    #轮替5次    mail www@my.org    #把信息发送到指定邮箱    size 100k    #日志大于100KB时才进行日志轮替,不再按照时间轮替    sharedscripts    #以下脚本只执行一次    postrotate    #在日志轮替结束之后,执行以下脚本    /usr/bin/killall -HUP httpd    #重启apache 服务endscript#脚本结束}

prerotate 和 postrotate 主要用于在日志轮替的同时执行指定的脚本，一般用于日志轮替之后重启服务。这里强调一下，如果你的日志是写入 rsyslog 服务的配置文件的，那么把新日志加入 logrotate 后，一定要重启 rsyslog 服务，否则你会发现，虽然新日志建立了，但数据还是写入了旧的日志当中。那是因为虽然 logrotate 知道日志轮替了，但是 rsyslog 服务并不知道。

同理，如果采用源码包安装了 apache、Nginx 等服务，则需要重启 apache 或 Nginx 服务，同时还要重启 rsyslog 服务，否则日志也不能正常轮替。

不过，这里有一个典型应用就是给予特定的日志加入 chattr 的 a 属性。如果系统文件加入了 a 属性，那么这个文件就只能增加数据，而不能删除和修改已有的数据，root 用户也不例外。

因此，我们会给重要的日志文件加入 a 属性，这样就可以保护日志文件不被恶意修改。不过，一旦加入了 a 属性，那么在进行日志轮替时，这个日志文件是不能被改名的，当然也就不能进行日志轮替了。我们可以利用 prerotate 和 postrotate 参数来修改日志文件的 chattr 的 a 属性。

把自己的日志加入日志轮替

如果有些日志默认没有加入日志轮替(比如源码包安装的服务的日志，或者自己添加的日志)，那么这些日志默认是不会进行日志轮替的，这样当然不符合我们对日志的管理要求。如果需要把这些日志也加入日志轮替，那该如何操作呢？

• 这里有两种方法：第一种方法是直接在 /etc/logrotate.conf 配置文件中写入该日志的轮替策略，从而把日志加入轮替；
• 第二种方法是在 /etc/logrotate.d/ 目录中新建立该日志的轮替文件，在该轮替文件中写入正确的轮替策略，因为该目录中的文件都会被包含到主配置文件中，所以也可以把日志加入轮替。

我们推荐第二种方法，因为系统中需要轮替的日志非常多，如果全部直接写入 /etc/logrotate.conf 配置文件，那么这个文件的可管理性就会非常差，不利于此文件的维护。

说起来很复杂，我们举个例子。还记得我们自己生成的 /var/log/alert.log 日志吗？这个日志不是系统默认日志，而是我们通过 /etc/rsyslog.conf 配置文件自己生成的日志，所以默认这个日志是不会进行轮替的。如果我们需要把这个日志加入日志轮替策略，那该怎么实现呢？我们采用第二种方法，也就是在 /etc/logrotate.d/ 目录中建立此日志的轮替文件。

具体步骤如下：

[root@localhost ~]# chattr +a /var/log/alert.log #先给日志文件赋予chattr的a属性，保证日志的安全[root@localhost ~]# vi /etc/logrotate.d/alter#创建alter轮替文件,把/var/log/alert.log加入轮替/var/log/alert.log {    weekly    #每周轮替一次    rotate 6    #保留6个轮替曰志    sharedscripts    #以下命令只执行一次    prerotate    #在日志轮替之前执行        /usr/bin/chattr -a /var/log/alert.log        #在日志轮替之前取消a属性,以便让日志可以轮替    endscript    #脚本结朿    sharedscripts    postrotate    #在日志轮替之后执行        /usr/bin/chattr +a /var/log/alert.log        #在日志轮替之后,重新加入a属性    endscript    sharedscripts    postrotate    /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) fi>/dev/null    endscript    #重启rsyslog服务，保证日志轮替正常进行}

这样我们自己生成的日志 /var/log/alert.log 也就可以进行日志轮替了，当然这些配置信息也是可以直接写入 /etc/logrotate.conf 这个配置文件的。

2. Linux logrotate命令用法详解：进行日志转储(轮替)

日志轮替之所以可以在指定的时间备份日志，是因为其依赖系统定时任务。如果大家还记得 /etc/cron.daily/ 目录，就会发现这个目录中是有 logrotate 文件的，查看一下这个文件，命令如下：

[root@localhost ~]# vi /etc/cron.daily/logrotate#！/bin/sh/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1#最主要的就是执行了logrotate命令EXITVALUE=$?if [ $EXITVALUE！= 0 ]; then/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"fiexit 0

也就是说，系统每天都会执行 /etc/cron.daily/logrotate 文件，运行这个文件中的“/usr/sbin/logrotate/etc/logrotate.conf>/dev/null 2>&1”命令。logrotate 命令会依据 /etc/logrotate.conf 配置文件的配置，来判断配置文件中的日志是否符合日志轮替的条件(比如，日志备份时间已经满一周)，如果符合，日志就会进行轮替。所以说，日志轮替还是由 crond 服务发起的。

logrotate 命令的格式是什么样的呢？我们来学习一下。

[root@localhost ~]# logrotate [选项] 配置文件名

• 选项：如果此命令没有选项，则会按照配置文件中的条件进行日志轮替
• -v：显示日志轮替过程。加入了-v选项，会显示日志的轮替过程
• -f： 强制进行日志轮替。不管日志轮替的条件是否符合，强制配置文件中所有的日志进行轮替

我们执行 logrotate 命令，并查看一下执行过程。

[root@localhost ~]# logrotate -v /etc/logrotate.conf#查看日志轮替的流程…省略部分输出…rotating pattern：/var/log/alert.log weekly (6 rotations)#这就是我们自己加入轮替的alert.log日志empty log files are rotated， old logs are removedconsidering log /var/log/alert.loglog does not need rotating#时间不够一周，所以不进行日志轮替…省略部分输出…

我们发现，/var/log/alert.log 加入了日志轮替，已经被 logrotate 识别并调用了，只是时间没有达到轮替的标准，所以没有进行轮替。那我们强制进行一次日志轮替，看看会有什么结果。

[root@localhost ~]# logrotate -vf /etc/logrotate.conf#强制进行日志轮替，不管是否符合轮替条件…省略部分输出…rotating pattern：/var/log/alert.log forced from command line (6 rotations)empty log files are rotated， old logs are removedconsidering log /var/log/alert.loglog needs rotating#日志需要轮替rotating log /var/log/alert.log，log->rotateCount is 6dateext suffix '-20130607'#提取日期参数glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'glob finding old rotated logs failedrunning prerotate scriptfscreate context set to unconfined_u：object_r：var_log_t：s0renaming /var/log/alert.log to /var/log/alert.log-20130607#旧的日志被重命名creating new /var/log/alert.log mode = 0600 uid = 0 gid = 0#创建新日志文件，同时指定权限、所有者和属组running postrotate script…省略部分输出…

我们发现，alert.log 日志已经完成了日志轮替。查看一下新生成的日志和旧日志，如下：

[root@localhost ~]# ll /var/log/alert.log*-rw-------.1 root root 0 6月 7 10：07 /var/log/alert.log-rw-------.1 root root 237 6月 7 09：58 /var/log/alert.log-20130607#旧的日志文件已经轮替[root@localhost ~]# lsattr /var/log/alert.log-----a-------e- /var/log/alert.log#新的日志文件被自动加入了chattr的a属性

logrotate 命令在使用“-f”选项之后，就会不管日志是否符合轮替条件，而强制把所有的日志都进行轮替。

3. Linux日志分析工具(logwatch)安装及使用

日志是非常重要的系统文件，管理员每天的重要工作就是分析和查看服务器的日志，判断服务器的健康状态。但是日志管理又是一项非常枯燥的工作，如果需要管理员手工查看服务器上所有的日志，那实在是一项非常痛苦的工作。有些管理员就会偷懒，省略日志的检测工作，但是这样做非常容易导致服务器出现问题。

那么我们有取代的方案吗？有，那就是日志分析工具。这些日志分析工具会详细地查看日志，同时分析这些日志，并且把分析的结果通过邮件的方式发送给 root 用户。这样，我们每天只要查看日志分析工具的邮件，就可以知道服务器的基本情况，而不用挨个检查日志了。这样系统管理员就可以从繁重的日常工作中解脱出来，去处理更加重要的工作。

在 CentOS 中自带了一个日志分析工具，就是 logwatch。不过这个工具默认没有安装(因为我们选择的是“Basic Server”)，所以需要手工安装。安装命令如下：

[root@localhost Packages]# yum -y install logwatch

安装完成之后，需要手工生成 logwatch 的配置文件。默认配置文件是 /etc/logwatch/conf/logwatch.conf，不过这个配置文件是空的，需要把模板配置文件复制过来。命令如下：

[root@localhost ~]# cp /usr/share/logwatch/default.conf/logwatch.conf /etc/logwatch/conf/logwatch.conf#复制配置文件

这个配置文件的内容中绝大多数是注释，我们把注释去掉，那么这个配置文件的内容如下所示：

[root@localhost ~]# vi /etc/logwatch/conf/logwatch.conf#查看配置文件LogDir = /var/log#logwatch会分析和统计/var/log/中的日志TmpDir = /var/cache/logwatch#指定logwatch的临时目录MailTo = root#日志的分析结果，给root用户发送邮件MailFrom = Logwatch#邮件的发送者是Logwatch，在接收邮件时显示Print =#是否打印。如果选择“yes”，那么日志分析会被打印到标准输出，而且不会发送邮件。我们在这里不打印，#而是给root用户发送邮件#Save = /tmp/logwatch#如果开启这一项，日志分析就不会发送邮件，而是保存在/tmp/logwatch文件中#如果开启这一项，日志分析就不会发送邮件，而是保存在/tmp/logwatch文件中Range = yesterday#分析哪天的日志。可以识别“All”“Today”“Yesterday”，用来分析“所有日志”“今天日志”“昨天日志”Detail = Low#日志的详细程度。可以识别“Low”“Med”“High”。也可以用数字表示，范围为0～10，“0”代表最不详细，“10”代表最详细Service = All#分析和监控所有日志Service = "-zz-network"#但是不监控“-zz-network”服务的日志。“-服务名”表示不分析和监控此服务的日志Service = "-zz-sys"Service = "-eximstats"

这个配置文件基本不需要修改(我在实验时把 Range 项改为了 All，否则一会儿的实验可以分析的日志过少)，它就会默认每天执行。它为什么会每天执行呢？聪明的读者已经想到了，一定是 crond 服务的作用。没错，logwatch 一旦安装，就会在 /etc/cron.daily/ 目录中建立“0logwatch”文件，用于在每天定时执行 logwatch 命令，分析和监控相关日志。

如果想要让这个日志分析马上执行，则只需执行 logrotate 命令即可。命令如下：

[root@localhost ~]# logwatch#马上执行logwatch日志分析工具[root01ocalhost ~]# mail#查看邮件Heirloom Mail version 12.4 7/29/08. Type ? for help, "/var/spool/mail/root": 5 messages 1 new 2 unread1 logwatch@localhost.1 Fri Jun 7 11:17 42/1482 "Logwatch for localhost.localdomain (Linux)"U 2 logwatch@localhost.1 Fri Jun 7 11:19 42/1481 "Logwatch for localhost.localdomain (Linux)"3 logwatch@localhost.1 Fri Jun 7 11:23 1234/70928 "Logwatch for localhost.localdomain (Linux)"4 logwatch@localhost.1 Fri Jun 7 11:24 190/5070 "Logwatch for localhost.localdomain (Linux)"5 logwatch@localhost.1 Fri Jun 7 11:55 41/1471 "Logwatch for localhost.localdomain (Linux)">N 6 logwatch@localhost.1 Fri Jun 7 11:57 189/5059 "Logwatch for localhost.localdomain (Linux)"#第6封邮件就是刚刚生成的曰志分析邮件，"N"代表没有查看& 6Message 6:From root@localhost.localdomain Fri Jun 7 11:57:35 2013 Return-Path: X-Original-To: rootDelivered-To: root@localhost.localdomainTo: root@localhost.localdomainFrom: logwatch@localhost.localdomainSubject: Logwatch for localhost.localdomain (Linux)Content-Type: text/plain; charset="iso-8859-1"Date: Fri, 7 Jun 2013 11:57:33 +0800 (CST)Status: R######## Logwatch 7.3.6 (05/19/07) ################Processing Initiated: Fri Jun 7 11:57:33 2013Date Range Processed: allDetail Level of Output: 0Type of Output: unformattedLogfiles for Host: localhost.localdomain####################################################上面是曰志分析的时间和日期...省略部分输出...--------- Connections (secure-log) Begin-----------#分析secure.log日志的内容。统计新建立了哪些用户和组，以及错误登录信息 New Users：    bb (501)    def (503)    hjk (504)    zhangsan (505)    dovecot (97)    dovenull (498)    aa (500)New Groups:    bb (501)    def (503)    hjk (504)    zhangsan (505)    dovecot (97)    dovenull (498)    aa (500)Failed logins:    User root:    (null): 3 Time(s)Root logins on tty's: 7 Time(s).**Unmatched Entries**groupadd: group added to /etc/group: name=dovecot, GID=97: 1 Time(s)groupadd: group added to /etc/group: name=dovenul1, GID=498: 1 Time(s)groupadd: group added to /etc/gshadow: name=dovecot: 1 Time(s)groupadd: group added to /etc/gshadow: name=dovenull: 1 Time(s)--------Connections (secure-log)End--------------------SSHD Begin-------------------#分析SSHD的日志。可以知道哪些IP地址连接过服务器SSHD Killed: 7 Time(s)SSHD Started: 24 Time(s)Users logging in through sshd:192.168.0.104: 10 times192.168.0.108: 8 times192.168.0.101: 6 times192.168.0.126: 4 times192.168.0.100: 3 times192.168.0.105: 3 times192.168.0.106: 2 times192.168.0.102: 1 time192.168.0.103: 1 timeSFTP subsystem requests: 3. Time(s)**Unmatched Entries**Exiting on signal 15 : 6 time(s)----------------SSHD End-------------------------- yum Begin ---------#统计yum安装的软件。可以知道我们安装了哪些软件Packages Installed:    perl-YAML-Syck-1.07-4.el6.i686    perl-Date-Manip-6.24-1.el6.noarch    logwatch-7.3.6-49.el6.noarch-----------yum End---------------------Disk Space Begin-------#统计磁盘空间情况Filesystem Size Used Avail Use% Mounted on/dev/sda3 20G 1.9G 17G 11% //dev/sda1 194M 26M 158M 15% /boot/dev/sr0 3.5G 3.5G 0 100% /mnt/cdrom---------Disk Space End-----------------#########Logwatch End ##################

有了这个日志分析工具，日志管理工作就会轻松很多。当然，在 Linux 中可以支持很多日志分析工具，我们在这里只介绍了 CentOS 自带的 logwatch，大家可以根据自己的习惯选择相应的日志分析工具。