syslog和syslog-ng详解

这网络上，找了非常多现成的教程，发现都用不了。所以通过时间和教程整合，就有了这篇文档。
该文档配置文件比较复杂，但是也很完整。强烈建议仔细阅读该配置文件。
不然的话，就算你照着本篇文档操作成功。也不会自定义修改配置文件。
好，正文开始.

一台服务器的日志对系统工程师来说是至关重要的,一旦服务器出现故障或被入侵,我们需要查看日志来定位问题的关键所在,所以说对于线上跑的服务器而言日志应该合理的处理及管理.下面来介绍下linux系统的syslog日志服务器.
一、syslog详解
1.1syslog简介
syslog 系统日志记录着linux系统启动及运行的过程中产生的信息, RHEL 5.x系统上默认自带了syslog 的配置文件是/etc/syslog.conf. syslog默认有两个守护进程,klogd,syslogd。klogd 进程是记录系统运行的过程中内核生成的日志,而在系统启动的过程中内核初始化过程中 生成的信息记录到控制台(/dev/console）当系统启动完成之后会把此信息存放到/var/log/dmesg文件中,我可以通过cat /var/log/dmesg查看这个文件,也可以通过dmesg命令来查看. syslogd 进程是记录非内核以外的信息。

centos 6.x 的syslogd被改名为rsyslogd, 其默认的配置文件是/etc/rsyslog.conf

1.2.syslog配置文件详解

配置文件定义格式为
1          [facility].[priority]   [action]
其中 facility可以理解为日志的来源或类别。常用的facility有以下几种：

auth       # 认证相关的
authpriv   # 权限,授权相关的
cron       # 任务计划相关的
daemon     # 守护进程相关的
kern       # 内核相关的
lpr        # 打印相关的
mail       # 邮件相关的
mark       # 标记相关的
news       # 新闻相关的
security   # 安全相关的,与auth 类似
syslog     # syslog自己的
user       # 用户相关的
uucp       # unix to unix cp 相关的
local0 到 local7  # 用户自定义使用
*          # *表示所有的facility

priority表示日志级别 (log level),一般有以下几种级别(从低到高)：

debug            # 程序或系统的调试信息
info             # 一般信息,
notice           # 不影响正常功能,需要注意的消息
warning /warn     # 可能影响系统功能,需要提醒用户的重要事件
err /error        # 错误信息
crit             # 比较严重的
alert            # 必须马上处理的
emerg /oanic      # 会导致系统不可用的
*                # 表示所有的日志级别
none             # 跟* 相反,表示啥也没有

action表示日志记录的位置:
系统上的绝对路径      # 普通文件 如： /var/log/xxx
|              # 管道  通过管道送给其他的命令处理
终端            # 终端   如：/dev/console
@HOST          # 远程主机 如： @10.0.0.1
用户            # 系统用户 如： root
*              # 登录到系统上的所有用户，一般emerg级别的日志是这样定义的

一些例子：

mail.info    /var /log /mail.log  # 表示将mail相关的,级别为info及
# info以上级别的信息记录到/var/log/mail.log文件中
auth.=info   @10.0.0.1          # 表示将auth相关的,基本为info的信息记录到10.0.0.1主机上去
# 前提是10.0.0.1要能接收其他主机发来的日志信息
user. !=error                   # 表示记录user相关的,不包括error级别的信息
user. !error                    # 与user.error相反
*.info                         # 表示记录所有的日志信息的info级别
mail. *                         # 表示记录mail相关的所有级别的信息
*. *                            # 你懂的.
cron.info;mail.info            # 多个日志来源可以用";" 隔开
cron,mail.info                 # 与cron.info;mail.info 是一个意思
mail. *;mail. !=info             # 表示记录mail相关的所有级别的信息,但是不包括info级别的

接下来去翻译下rhel5.x系统上自带的syslog的配置文件/etc/syslog.conf
# 表示将所有facility的info级别,但不包括mail,authpriv,cron相关的信息,记录到 /var/log/messages文件

*.info;mail.none;authpriv.none;cron.none                 /var /log /messages

# 表示将权限,授权相关的所有基本的信息,记录到/var/log/secure文件中.这个文件的权限是600
authpriv. *                                               /var /log /secure

# 表示将mail相关的所有基本的信息记录到/var/log/maillog文件中,可以看到路径前面有一个"-"
# "-" 表示异步写入磁盘,
mail. *                                                  - /var /log /maillog

# 表示将任务计划相关的所有级别的信息记录到/var/log/cron文件中
cron. *                                                   /var /log /cron

# 表示将所有facility的emerg级别的信息,发送给登录到系统上的所有用户
*.emerg                                                  *

# 表示将uucp及news的crit级别的信息记录到/var/log/spooler文件中
uucp,news.crit                                           /var /log /spooler

# 表示将local7的所有级别的信息记录到/var/log/boot.log文件中,
# 上面说过local0 到local7这8个是用户自定义使用的,这里的local7记录的是系统启动相关的信息
local7. *                                                 /var /log /boot.log

可以使用tail  /var/log/messages 查看

二、syslog-ng详解
2.1syslog-ng简介
syslog-ng (syslog-Next generation) 是syslog的升级版,syslog-ng有两个版本,一个是收费的,一个是开源的，那么作为syslog的下一代产品,功能是可想而知,肯定比syslog的功能强大的多,如
高性能
可靠的传输
支持多平台
高可靠性
众多的用户群体
强大的日志过滤及排序
事件标签和关联性
支持最新的IETF标准
等….
2.2 syslog-ng的设计原则的：

通过正规表达式协助，除支持原facitily/level方式，还支持内容过滤等以建立更好的消息过滤机制；
支持主机链，即使日志消息经过多重网络转发，仍可找到原发出主机的信息和整个消息链；
支持强大的自定义配置，并且清晰、明了。

开源版本的主页 http://www.balabit.com/network-security/syslog-ng/opensource-logging-system/overview
2.3 syslog-ng的安装
rhel5.x的系统上默认没有使用syslog-ng来记录日志的,需要使用的话,需要自己编译安装,安装方法如下

yum install  gcc glib2-devel  bison

wget http: //pkgconfig.freedesktop.org /releases /pkgconfig-0.3.2.tar.gz
wget http: //www.balabit.com /downloads /files /syslog-ng /sources /3.5.3 /source /eventlog_0.2.12+ 20120504+ 1700.tar.gz
wget http: //www.balabit.com /downloads /files /syslog-ng /sources /3.5.3 /source /syslog-ng_3.5.3.tar.gz

tar zxf pkgconfig-0.3.2.tar.gz
cd pkgconfig-0.3.2
. /configure
make  install
cd .. /
[cce_bash ]
# 升级python
[cce_bash ]
tar zxf eventlog_0.2.12+ 20120504+ 1700.tar.gz
cd eventlog-0.2.12+ 20120504+ 1700
. /configure  --prefix= /data /soft /eventlog_0.2.12
make  &&  make  install
cd .. /

tar zxf syslog-ng_3.5.3.tar.gz
cd syslog-ng-3.5.3
export  PKG_CONFIG_PATH= /data /soft /eventlog_0.2.12 /lib /pkgconfig
. /configure  --prefix= /data /soft /syslog-ng-3.5.3  --sysconfdir= /data /soft /syslog-ng-3.5.3 /etc /
make  &&  make  install

# 将syslog-ng添加为系统服务, 创建并编辑/etc/init.d/syslog-ng

cp . /contrib /rhel-packaging /syslog-ng.init  /etc /init.d /syslog-ng
vi  /etc /init.d /syslog-ng
chmod +x  /etc /init.d /syslog-ng

chkconfig  --add syslog-ng
chkconfig syslog-ng on
service syslog-ng start

# Server 配置文件

destination d_mysql  {
pipe ( "/tmp/mysql.pipe"
template ( "INSERT INTO syslog_incoming (host, facility, priority, date, time, message) VALUES ( '$HOST', '$FACILITY', '$PRIORITY','$YEAR-$MONTH-$DAY', '$HOUR:$MIN:$SEC', '$MSG' );\n" )
template-escape ( yes )
); };

#Client
log  {  source (s_sys ); destination (d_mysql ); };

# 此时syslog-ng服务已经启动起来了,配置文件的位置在安装目录下的$SYSLOG_NG_HOME/etc/syslog-ng.conf

syslog-ng配置文件的结构
# 全局选项,多个选项时用分好”;”隔开

options  {
....
};
# 定义日志源
source s_name  {
...
};
# 定义过滤规则，规则可以使用正则表达式来定义,这里是可选的,不定义也没关系
filter f_name  {
...
};
# 定义目标
destination d_name  {
...
};
# 定义消息链可以将多个源,多个过滤规则及多个目标定义为一条链
log  {
...
};

# 下面详细解释一下每个组成部分的含义：
options选项：

chain_hostnames ( yes |no )      # 是否打开主机名链功能，打开后可在多网络段转发日志时有效
long_hostnames ( yes |no )       # 是chain_hostnames的别名，已不建议使用
keep_hostname ( yes |no )        # 是否保留日志消息中保存的主机名称
use_dns ( yes |no )              # 是否打开DNS查询功能，
use_fqdn ( yes |no )             # 是否使用完整的域名
check_hostname ( yes |no )       # 是否检查主机名有没有包含不合法的字符
bad_hostname (regexp )         # 可通过正规表达式指定某主机的信息不被接受
dns_cache ( yes |no )            # 是否打开DNS缓存功能
dns_cache_expire (n )          # DNS缓存功能打开时，一个成功缓存的过期时间
dns_cache_expire_failed (n )   # DNS缓存功能打开时，一个失败缓存的过期时间
dns_cache_size (n )            # DNS缓存保留的主机名数量
create_dirs ( yes |no )          # 当指定的目标目录不存在时，是否创建该目录
dir_owner (uid )               # 目录的UID
dir_group (gid )               # 目录的GID
dir_perm (perm )               # 目录的权限，使用八进制方式标注，例如0644
owner (uid )                   # 文件的UID
group (gid )                   # 文件的GID
perm (perm )                   # 文件的权限，同样，使用八进制方式标注
gc_busy_threshold (n )         # 当syslog-ng忙时，其进入垃圾信息收集状态的时间一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。
gc_idle_threshold (n )         # 当syslog-ng空闲时，其进入垃圾信息收集状态的时间一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100
log_fifo_size (n )             # 输出队列的行数
log_msg_size (n )              # 消息日志的最大值（bytes）
mark (n )                      # 多少时间（秒）写入两行MARK信息供参考，目前没有实现
stats (n )                     # 多少时间（秒）写入两行STATUS信息,默认值是：600
sync (n )                      # 缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。
time_reap (n )                 # 在没有消息前，到达多少秒，即关闭该文件的连接
time_reopen (n )               # 对于死连接，到达多少秒，会重新连接
use_time_recvd ( yes |no )       # 宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。

举例：

options  {
long_hostnames (off );
sync ( 0 );
perm (0640 );
stats ( 3600 );
};

source选项：

file  (filename )                  # 从指定的文件读取日志信息
unix-dgram   (filename )           # 打开指定的SOCK_DGRAM模式的unix套接字，接收日志消息
unix-stream  (filename )           # 打开指定的SOCK_STREAM模式的unix套接字，接收日志消息
udp  (  ( ip ), (port )  )              # 在指定的UDP端口接收日志消息
tcp  (  ( ip ), (port )  )              # 在指定的TCP端口接收日志消息
sun-streams  (filename )           # 在solaris系统中，打开一个（多个）指定的STREAM设备，从其中读取日志消息
internal ( )                       # syslog-ng内部产生的消息
pipe (filename ),fifo (filename )    # 从指定的管道或者FIFO设备，读取日志信息

举例：

source s_name  {
internal ( );
unix-dgram ( "/dev/log" );
udp ( ip ( "0.0.0.0" ) port ( 514 ) );
};

filter选项：

facility (.. )     # 根据facility（设备）选择日志消息，使用逗号分割多个facility
level (.. )        # 根据level（优先级）选择日志消息，使用逗号分割多个level，或使用“..”表示一个范围
program (表达式 )     # 日志消息的程序名是否匹配一个正则表达式
host (表达式 )    # 日志消息的主机名是否和一个正则表达式匹配
match (表达式 )   # 对日志消息的内容进行正则匹配
filter ( )         # 调用另一条过滤规则并判断它的值

此外，定义规则的时候也可以使用逻辑运算符and or not
看一个例子：

filter f_name  {
not facility (news, mail ) and not filter (f_iptables );
};

destination选项:

file  (filename )                  # 把日志消息写入指定的文件
unix-dgram   (filename )           # 把日志消息写入指定的SOCK_DGRAM模式的unix套接字
unix-stream  (filename )           # 把日志消息写入指定的SOCK_STREAM模式的unix套接字
udp  ( ip ), (port )                  # 把日志消息发送到指定的UDP端口
tcp  ( ip ), (port )                  # 把日志消息发送到指定的TCP端口
usertty (username )                # 把日志消息发送到已经登陆的指定用户终端窗口
pipe (filename ),fifo (filename )    # 把日志消息发送到指定的管道或者FIFO设备
program (parm )                    # 启动指定的程序，并把日志消息发送到该进程的标准输入

举例:

destination d_name  {
file ( "/var/log/messages" );
};

log说明：

log  {
source (s_name );
filter (f_name );
destination (d_name )
};

一条日志的处理流程大概是这样的,如下
首先是  “日志的来源  source s_name { … };”
然后是  “过滤规则  filter f_name { … };”
再然后是 “消息链  log { source(s_name); filter(f_name); destination(d_name) };”
最后是  “目标动作  destination d_name { … };”
这样以来一条日志就根据你的意思来处理了,需要注意的是一条日志消息过了之后,会匹配定义的所有配置,并不是匹配到以后就不再往下匹配了.
2.4.syslog-ng配置文件例子

options  {
long_hostnames (off );
sync ( 0 );
perm (0640 );
stats ( 3600 );
};

source src  {
internal ( );
unix-dgram ( "/dev/log" );
# 表示日志来源为本机udp的514端口,
udp ( ip ( "0.0.0.0" ) port ( 514 ) );
};

filter f_iptables  {
facility (kern ) and match ( "IN=" ) and match ( "OUT=" );
};