linux日志文件系统总结

系统日志(本文参考了ibm网站的linux安全第二卷)
         在 Linux 下使用各种日志文件，有些用于某些特殊用途，例如：/var/log/xferlog 用于记录文件传输协议 FTP 的信息。其他日志文件，例如 /var/log/messages 文件通常包含许多系统和内核工具的输入项。这些日志文件为系统的安全状态提供了信息。

            我们主要讲解两个日志守护程序---syslog和klogd------并且简要叙述了由Linux操作系统生成的其他其他日志文件。目的是提供基本的配置情况。

syslog系统日志工具
           大部分的 Linux 系统中都要使用 syslog 工具，它是相当灵活的，能使系统根据不同的日志输入项采取不同的活动。下面将详细讨论syslog 的工作机制以及在配置文件/etc/syslog.conf 中的配置，还将论述利用 syslog 灵活性和功能性进行工作的各种方法 。以服务的形式运行，可以通过chkconfig --list | grep syslog来检查是否安装以及启动。
  1) 概述 
             非常简单，syslog 工具由一个守护程序组成。它能接受访问系统的日志信息并且根据 /etc/syslog.conf 配置文件中的指令处理这些信息。程序，守护进程和内核提供了访问系统的日志信息。因此，任何希望生成日志信息的程序都可以向 syslog 接口呼叫生成该信息。
通常，syslog 接受来自系统的各种功能的信息，每个信息都包括重要级。/etc/syslog.conf 文件通知 syslogd 如何根据设备和信息重要级别来报告信息。
2) etc/syslog.conf

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog


# Log cron stuff
cron.*                                                  /var/log/cron

# Everybody gets emergency messages
*.emerg                                                 *

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log

         /etc/syslog.conf 文件使用下面的形式
        facility.level    action
       空白行和以#开头的行可以忽略。Facility.level 字段也被称做 seletor。应该使用一次或多次 tab 键分隔 facility 和 action。大部分 Linux 使用这些空格为分隔符。现在分析一下 /etc/syslog.conf 中的三个要素。
       facility 指定 syslog 功能，主要包括以下这些：

auth  由 pam_pwdb 报告的认证活动。
authpriv 包括特权信息如用户名在内的认证活动
cron  与 cron 和 at 有关的信息。
daemon 与 inetd 守护进程有关的信息。
kern  内核信息，首先通过 klogd 传递。
lpr   与打印服务有关的信息。
mail  与电子邮件有关的信息
mark  syslog 内部功能用于生成时间戳
news  来自新闻服务器的信息
syslog  由 syslog 生成的信息
user   由用户程序生成的信息
uucp   由 uucp 生成的信息
local0----local7   与自定义程序使用，例如使用 local5 做为 ssh 功能
*   通配符代表除了 mark 以外的所有功能

            与每个功能对应的优先级是按一定顺序排列的，emerg 是最高级，其次是 alert，依次类推。缺省时，在 /etc/syslog.conf 记录中指定的级别为该级别和更高级别。如果希望使用确定的级别可以使用两个运算符号！(不等)和=。
user.=info
表示告知 syslog 接受所有在 info 级别上的 user 功能信息。
syslog 级别如下:

emerg 或 panic   该系统不可用
alert            需要立即被修改的条件
crit             阻止某些工具或子系统功能实现的错误条件
err             阻止工具或某些子系统部分功能实现的错误条件
warning         预警信息
notice           具有重要性的普通条件
info             提供信息的消息
debug           不包含函数条件或问题的其他信息
none            没有重要级，通常用于排错
*               所有级别，除了none

            action字段所表示的活动具有许多灵活性，特别是，可以使用名称管道的作用是可以使 syslogd 生成后处理信息。
            syslog 主要支持以下活动
file     指定文件的绝对路径
terminal 或 print    完全的串行或并行设备标志符
@host   远程的日志服务器
username  发送信息到使用 write 的指定用户中
named pipe  指定使用 mkfifo 命令来创建的 FIFO 文件的绝对路径。

       3) 调用 syslogd 守护程序
          syslog 守护程序是由 /etc/rc.d/init.d/syslog 脚本在运行级2下被调用的，缺省不使用选项。但有两个选项 -r 和 -       h 很有用。
         如果将要使用一个日志服务器，必须调用 syslogd -r。缺省情况下 syslog 不接受来自远程系统的信息。当指定 -r 选项，syslogd 将会监听从 514 端口上进来的 UDP 包。
如果还希望日志服务器能传送日志信息，可以使用 -h 标志。缺省时，syslogd 将忽略使其从一个远程系统传送日志信息到另一个系统的/etc/syslog.conf 输入项。
      上面所述即将/etc/sysconfig/syslog中将Syslogd_Options中加入-r –h参数。

4) klogd 守护进程
       klogd 守护进程获得并记录 Linux 内核信息。通常，syslogd 会记录 klogd 传来的所有信息，然而，如果调用带有 -f filename 变量的 klogd 时，klogd 就在 filename 中记录所有信息，而不是传给 syslogd。当指定另外一个文件进行日志记录时，klogd 就向该文件中写入所有级别或优先权。Klogd 中没有和 /etc/syslog.conf 类似的配置文件。使用 klogd 而避免使用 syslogd 的好处在于可以查找大量错误。如果有人入侵了内核，使用 klogd 可以修改错误。

5) 其他日志
在 /var/log 和不同版本的系统中以及自己配置的应用程序中都可以找到其他日志文件。当然，/etc/syslog.conf 列出了由 syslogd 管理的所有日志文件名和位置。其他日志由其他应用程序管理。apache server 生成 /var/log/htmlaccess.log 文件记录客户访问，生成 /var/log/httpd/error.log 文件在 syslog 以外查找错误。
cron 工具维护的信息日志文件 /var/log/cron。当 Linuxconf 工具记录系统重新配置信息时，将生成日志文件如 /var/log/nerconf.log。samba 在 /var/log/samba 中维护其日志信息。
/var/run/utmp记录所有当前登录到系统的用户，使用w或who命令来查看。
/var/log/wtmp记录所有用户的登陆和注销，使用last命令来查看。
/var/log/lastlog中记录所有用户最后一次的登陆时间，使用lastlog命令来查看。

 

     dmesg

      使用dmesg命令可以快速查看最后一次系统引导的引导日志

     dmesg | more

   

                                                                                      图1、dmesg

    /var/log/secure  登录日志（是否被攻击）

  插曲：

限制所有用户包含root 登录3次失败后 锁定300秒
/etc/pam.d/vsftpd   vsftpd配置
/etc/pam.d/sshd     sshd配置
/etc/pam.d/login    终端登陆配置
在#%PAM-1.0下面添加
auth required pam_tally2.so deny=3 unlock_time=300 even_deny_root root_unlock_time=300

 

 

/var/log/secure：记录登入系统存取数据的文件，例如 pop3, ssh, telnet, ftp 等都会被记录；

/var/log/wtmp：记录登入者的讯息数据，由于本文件已经被编码过，所以必须使用 last指令来取出文件的内容；

/var/log/messages：尤为重要，几乎发生的错误讯息（或是重要信息）都会被记录在此；

/var/log/boot.log：记录开机或者是一些服务启动的时候，所显示的启动或关闭讯息；

/var/log/maillog 或 /var/log/mail/*：纪录邮件存取或往来( sendmail 与 pop3 )的使用者记录；

/var/log/cron：记录 crontab 这个例行性服务的内容

 

 

6)       手工操作日志
可以使用logger命令来手工操作记录，
logger xxx >> /var/log/messages

7)       使用logrotate对日志文件转储(本文转载)

           logrotate 没有以服务的形式进行运行，而是通过规定的时间到了之后才来进行日志文件的轮替，所以这个logrotate程序是挂在cron下面进行的（/etc/cron.daily/logrotate）。

      

                                                      图1 logrotate 配置文件

          对于Linux 的系统安全来说，日志文件是极其重要的工具。系统管理员可以使用logrotate 程序用来管理系统中的最新的事件。
          对于Linux 的系统安全来说，日志文件是极其重要的工具。
          系统管理员可以使用logrotate 程序用来管理系统中的最新的事件。logrotate 还可以用来备份日志文件，本篇将通过以下几部分来介绍
         日志文件的管理：

1、logrotate 配置
2、缺省配置 logrotate
3、使用include 选项读取其他配置文件
4、使用include 选项覆盖缺省配置
5、为指定的文件配置转储参数

一、logrotate 配置
            logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行。
          logrotate 程序还可以用于压缩日志文件，以及发送日志到指定的E-mail 。
          logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表：
         参数 功能

compress 通过gzip 压缩转储以后的日志
nocompress 不需要压缩时，用这个参数
copytruncate 用于还在打开中的日志文件，把当前日志备份并截断
nocopytruncate 备份日志文件但是不截断
create mode owner group 转储文件，使用指定的文件模式创建新的日志文件
nocreate 不建立新的日志文件
delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项，转储同时压缩。
errors address 专储时的错误信息发送到指定的Email 地址
ifempty 即使是空文件也转储，这个是 logrotate 的缺省选项。
notifempty 如果是空文件的话，不转储
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail 转储时不发送日志文件
olddir directory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
daily 指定转储周期为每天
weekly 指定转储周期为每周
monthly 指定转储周期为每月
rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
tabootext [+] list 让logrotate 不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和 ~
size size 当日志文件到达指定的大小时才转储，Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

二、缺省配置 logrotate
        logrotate 缺省的配置/etc/logrotate.conf。
         Red Hat Linux 缺省安装的文件内容是：

# see "man logrotate" for details
# rotate log files weekly
weekly
# keep 4 weeks worth of backlogs
rotate 4
# send errors to root
errors root
# create new (empty) log files after rotating old ones
create
# uncomment this if you want your log files compressed
#compress 1
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d
# no packages own lastlog or wtmp --we'll rotate them here
/var/log/wtmp {
monthly
create 0664 root utmp
rotate 1
}
/var/log/lastlog {
monthly
rotate 1
}
# system-specific logs may be configured here

缺省的配置一般放在logrotate.conf 文件的最开始处，影响整个系统。在本例中就是前面12行。
第三行weekly 指定所有的日志文件每周转储一次。
第五行 rotate 4 指定转储文件的保留 4份。
第七行 errors root 指定错误信息发送给root。
第九行create 指定 logrotate 自动建立新的日志文件，新的日志文件具有和
原来的文件一样的权限。
第11行 #compress 指定不压缩转储文件，如果需要压缩，去掉注释就可以了。

三、使用include 选项读取其他配置文件
         include 选项允许系统管理员把分散到几个文件的转储信息，集中到一个
主要的配置文件。当 logrotate 从logrotate.conf 读到include 选项时，会从指定文件读入配置信息，就好像他们已经在/etc/logrotate.conf 中一样。
          第13行 include /etc/logrotate.d 告诉 logrotate 读入存放在/etc/logrotate.d 目录中的日志转储参数，当系统中安装了RPM 软件包时，使用include 选项十分有用。RPM 软件包的日志转储参数一般存放在/etc/logrotate.d 目录。
include 选项十分重要，一些应用把日志转储参数存放在 /etc/logrotate.d 。
         典型的应用有：apache, linuxconf, samba, cron 以及syslog。
          这样，系统管理员只要管理一个 /etc/logrotate.conf 文件就可以了。

四、使用include 选项覆盖缺省配置
       当 /etc/logrotate.conf 读入文件时，include 指定的文件中的转储参数将覆盖缺省的参数，如下例：

# linuxconf 的参数
/var/log/htmlaccess.log
{ errors jim
notifempty
nocompress
weekly
prerotate
/usr/bin/chattr -a /var/log/htmlaccess.log
endscript
postrotate
/usr/bin/chattr +a /var/log/htmlaccess.log
endscript
}
/var/log/netconf.log
{ nocompress
monthly
}

       在这个例子中，当 /etc/logrotate.d/linuxconf 文件被读入时，下面的参数将覆盖/etc/logrotate.conf中缺省的参数。
Notifempty
errors jim

五、为指定的文件配置转储参数
        经常需要为指定文件配置参数，一个常见的例子就是每月转储/var/log/wtmp。为特定文件而使用的参数格式是：
# 注释
/full/path/to/file
{
option(s)
}
下面的例子就是每月转储 /var/log/wtmp 一次：
#Use logrotate to rotate wtmp
/var/log/wtmp
{
monthly
rotate 1
}
六、其他需要注意的问题
1、尽管花括号的开头可以和其他文本放在同一行上，但是结尾的花括号必须单独成行。
2、使用 prerotate 和 postrotate 选项
下面的例子是典型的脚本 /etc/logrotate.d/syslog，这个脚本只是对
/var/log/messages 有效。
/var/log/messages
{
prerotate
/usr/bin/chattr -a /var/log/messages
endscript
postrotate
/usr/bin/kill -HUP syslogd
/usr/bin/chattr +a /var/log/messages
endscript
}

第一行指定脚本对 /var/log messages 有效
prerotate 命令指定转储以前的动作/usr/bin/chattr -a 去掉/var/log/messages文件的“只追加”属性 endscript 结束 prerotate 部分的脚本postrotate 指定转储后的动作
/usr/bin/killall -HUP syslogd
用来重新初始化系统日志守护程序 syslogd
/usr/bin/chattr +a /var/log/messages
重新为 /var/log/messages 文件指定“只追加”属性，这样防治程序员或用户覆盖此文件。
最后的 endscript 用于结束 postrotate 部分的脚本

3、logrotate 的运行分为三步：
判断系统的日志文件，建立转储计划以及参数，通过cron daemon 运行下面的代码是 Red Hat Linux 缺省的crontab 来每天运行logrotate。
#/etc/cron.daily/logrotate
#! /bin/sh
/usr/sbin/logrotate /etc/logrotate.conf