linux系统中大部分日志是通过一种syslog机制产生和维护的。syslog是一种协议,分为客户端和服务器端。客户端产生日志,服务器端接收日志。并对接收的日志做出保存到文件或其他方式的处理。
在linux中,常见syslog服务器端程序是syslogd守护进程。这个程序从三个地方接收日志
【1】: unix域套接字 /dev/log
【2】:udp端口514
【3】:特殊的设备 /dev/klog
相应的,产生日志的消息的程序就需要通过上述三种方式写入消息。对于大多数程序而言就是向/dev/log这个套接字发送日志消息。
在Linuix/unix操作系统上,syslog广泛用于系统日志。syslog日志消息既可以记录在本地文件中,也可以通过网络发送到syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一存储。或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具,安全管理系统,日志管理系统。 完整的syslog日志包含
【1】:产生日志的程序模块
【2】:严重性
【3】:时间
【4】:主机名或IP
【5】:进程名
【6】:进程ID
【7】:正文
在2001年定义的RFC3164中,描述了BSD syslog协议:http://www.ietf.org/rfc/rfc3164.txt,不过这个规范的很多内容都不是强制性的,常常是“建议”或者“约定”,也由于这个规范出的比较晚,很多设备并不遵守或不完全遵守这个规范。
约定发送syslog的设备为Device,转发syslog的设备为Relay,接收syslog的设备为Collector。Relay本身也可以发送自身的syslog给Collector,这个时候它表现为一个Device。Relay也可以只转发部分接收到的syslog消息,这个时候它同时表现为Relay和Collector。
syslog消息发送到Collector的UDP 514端口,不需要接收方应答,RFC3164建议 Device 也使用514作为源端口。规定syslog消息的UDP报文不能超过1024字节,并且全部由可打印的字符组成。完整的syslog消息由3部分组成,分别是PRI、HEADER和MSG。大部分syslog都包含PRI和MSG部分,而HEADER可能没有。
rsyslog 作为标准的syslog守护进程,预装在了大多数的Linux发行版中。在客户端/服务器架构的配置下,rsyslog同时扮演了两种角色:1.作为一个syslog服务器,rsyslog可以收集来自其他设施的日志信息;2.作为一个syslog客户端,rsyslog可以将其内部的日志信息传输到远程的syslog服务器。
在此,我们演示了在linux上如何通过rsyslog来配置一个中心化syslog服务器。 在进入详解之前,先温习一下syslog标准。
syslog标准基础
当通过syslog机制来收集日志时,有3个必须要考虑到的重要事情:
设施层级: 监听何种类型的进程
严重性 (优先) 级别: 收集何种级别的日志消息
目标: 发送或记录日志消息到何处
现在我们更加深入地了解一下配置是如何定义的。
设施层级定义了一种用来对内部系统进程进行分类的方法,linux中的一些常见的设施包括:
auth: 身份验证相关的消息(登录时)
cron: 进程或应用调度相关的消息
daemon: 守护进程相关的消息(内部服务器)
kernel: 内核相关的消息
mail: 内部邮件服务器相关的消息
syslog: syslog 守护进程本身相关的消息
lpr: 打印服务相关的消息
local0 - local7: 用户自定义的消息 (local7 通常被Cisco 和 Windows 服务器 使用)
严重性(优先)级别有固定的标准缩写和指代的值,其中的数字7具有最高的级别,这些级别包含了:
emerg: Emergency(紧急)- 0
alert: Alerts (报警)- 1
crit: Critical (关键)- 2
err: Errors (错误)- 3
warn: Warnings (警告)- 4
notice: Notification (通知)- 5
info: Information (消息)- 6
debug: Debugging (调试)- 7
最后,目标语句会让一个syslog客户端来执行以下三个任务之一:
保存日志消息到一个本地文件;
通过TCP/UDP将消息路由到远程的syslog服务器中;
将其发送到一个标准输出中,例如控制台。
在 rsyslog里, syslog的配置是基于以下模式进行结构化的。
[facility-level].[severity-level] [destination]
在Linux中配置Rsyslog
在我们理解syslog之后,现在可以通过rsyslog来将一个Linux服务器配置为一个中心syslog服务器了,另外我们也将看到如何在一个Windows的系统上配置一个syslog客户端来发送内部日志到该syslog服务器中。
第1步: 初始化系统需求
要将linux主机设置为一个中央日志服务器, 我们需要创建一个分离的 /var 分区,并分配足够大的磁盘空间或者创建一个特殊的LVM卷组。这样就会使得syslog服务器能够承担在日积月累收集日志所带来的潜在增长。
第2步: 让rsyslog 后台进程生效
rsyslog守护进程来自于当前的linux发布版本的预装模块,但是默认并没有启动。为了能够让rsyslog守护进程能够接受外部的消息,需要编辑其配置文件/etc/rsyslog.conf.
打开文件进行编辑,查找到下面的两行所在的位置,通过删除其行首的#字符来取消注释。
$ModLoad imudp
$UDPServerRun 514
这会使得rsysolog守护进程能够在UDP端口514上接受日志消息了---UDP是一种比TCP速度快,但是并不具有TCP一样的数据流的可靠性。所以如果你需要使用可靠的传送机制,就可以通过取消以下行的注释。
$ModLoad imtcp
$InputTCPServerRun 514
需要注意的是,TCP和UDP可以被同时生效来监听TCP/UDP 连接。
第3步:创建日志接收模板
接下来的这步,需要我们来为远程消息创建模板,并告知rsyslog守护进程如何记录从其他客户端机器所接受到的消息。
使用文本编辑器来打开 /etc/rsyslog.conf,然后在GLOBAL DIRECTIVE块前追加以下的模板。
$template RemoteLogs,"/var/log/%HOSTNAME%/%PROGRAMNAME%.log" *
*.* ?RemoteLogs
& ~
在此对该模板进行简单解释,$template RemoteLogs(这里“RemoteLogs” 字符串可以为任何其他的描述性的名称)指令使rsyslog后台进程将日志消息写到/var/log下的单独的本地日志文件中,其中日志文件的名称是基于远程日志发送机器的主机名以及生成该日志的应用程序名进行定义的。其中第二行暗示了我们将RemoteLogs模板应用到所有接收到的日志上。
符号"& ~"表示了一个重定向规则,被用来告知rsyslog守护进程停止对日志消息的进一步处理,并且不要在本地写入。如果没有使用该重定向规则,那么所有的远程消息都会在写入上述描述的日志文件之外同时被写入到本地日志文件,这就意味着日志消息实际上被写了两次。使用该规则的另外一个结果就是syslog服务器本身的日志消息只会被以该机器主机名命名的专有文件中。
如果你想要的话,也可以使用下面的模式对特定的设备或严重性级别使用新的模板直接来记录日志消息。
[facility-level].[severity-level] ?RemoteLogs
例如:
将全部优先级别的所有内部用户验证消息指定为RemoteLogs模板:
authpriv.* ?RemoteLogs
将所有系统进程中除开mail、用户验证和cron消息之外的进程产生的消息级别的日志指定为RemoteLogs模板:
*.info,mail.none,authpriv.none,cron.none ?RemoteLogs
如果我们想要将所有从远程客户端接受到的消息写入到一个以它们的IP地址命名的单个文件中,可以使用以下的模板。在此我们为该模板赋予了“IpTemplate”名称。
$template IpTemplate,"/var/log/%FROMHOST-IP%.log"
*.* ?IpTemplate
& ~
在我们启用rsyslog守护进程并编辑好配置文件之后,需要重启该守护进程。
在 Debian,Ubuntu 或 CentOS/RHEL 6中:
$ sudo service rsyslog restart
在 Fedora 或 CentOS/RHEL 7中:
$ sudo systemctl restart rsyslog
我们可以通过netstat命令来验证rsyslog守护进程是否正常工作。
$ sudo netstat -tulpn | grep rsyslog
在UDP监听端口下工作的rsyslog守护进程会有类似下面的输出。
udp 0 0 0.0.0.0:514 0.0.0.0:* 551/rsyslogd
udp6 0 0 :::514 :::* 551/rsyslogd
如果rsyslog守护进程被设置在TCP连接端口,那么应该有类似下面所示的输出。
tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 1891/rsyslogd
tcp6 0 0 :::514 :::* LISTEN 1891/rsyslogd
发送Windows日志到一个远程的rsyslog服务器
要将一个Windows客户端的日志消息转发到我们的rsyslog服务器,需要一个安装 Windows syslog 代理。当然,有许多的syslog代理可以在windows上运行,在此我们可以使用一个自由软件程序 Datagram SyslogAgent.
在下载安装该syslog代理后,需要将其配置为作为服务运行。指定使用何种协议来发送数据,以及远程rsyslog服务器的IP地址和端口,最后指定应该传输的事件日志类型,如下所示。
在我们完成所有的这些配置之后,我们就可以启动该服务并且在中央rsyslog服务器中使用命令行工具tail -f来查看日志文件了。
总结
通过创建一个可以收集本地和远程主机的中央rsyslog服务器,我们可以更好地了解在这些系统内部究竟发生着什么,而且可以更加容易地调试它们的问题,是否在它们之间有任何延迟或崩溃存在。
CentOS上配置rsyslog客户端用以远程记录日志
rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过滤和发送内部日志消息到本地文件夹(如/var/log)或一台可以路由到的远程rsyslog服务器上。
假定你的网络中已经有一台已经配置好并启动的rsyslog服务器,本指南将为你展示如何来设置CentOS系统将其内部日志消息路由到一台远程rsyslog服务器上。这将大大改善你的系统磁盘空间的使用,尤其是当你还没有一个用于/var目录的独立的大分区。
步骤一: 安装Rsyslog守护进程
在CentOS 6和7上,rsyslog守护进程已经预先安装了。要验证rsyslog是否已经安装到你的CentOS系统上,请执行如下命令:
# rpm -qa | grep rsyslog
# rsyslogd -v
如果处于某种原因,rsyslog守护进程没有出现在你的系统中,请使用以下命令来安装:
# yum install rsyslog
步骤二: 配置Rsyslog守护进程为客户端
接下来的步骤,是要将你的CentOS机器转变成rsyslog客户端,将其所有内部日志消息发送到远程中央日志服务器上。
要实现该功能,请使用你喜爱的文本编辑器打开位于/etc路径下的rsyslog主配置文件:
# nano /etc/rsyslog.conf
开启文件用于编辑后,你需要添加以下声明到文件底部。将IP地址替换为你的远程rsyslog服务器的IP地址。
*.* @192.168.1.25:514
上面的声明告诉rsyslog守护进程,将系统上各个设备的各种日志消息路由到远程rsyslog服务器(192.168.1.25)的UDP端口514。
如果出于某种原因,你需要更为可靠的协议,如TCP,而rsyslog服务器也被配置为监听TCP连接,你必须在远程主机的IP地址前添加一个额外的@字符,像下面这样:
*.* @@192.168.1.25:514
注意,你也可以将rsyslog服务器的IP地址替换成它的主机名(FQDN)。
如果你只想要转发服务器上的指定设备的日志消息,比如说内核设备,那么你可以在rsyslog配置文件中使用以下声明。
kern.* @192.168.1.25:514
修改配置文件后,你需要重启进程以激活修改:
CentOS 7:
# systemctl restart rsyslog.service
CentOS 6:
# service rsyslog restart
非 syslog 日志的转发
在另外一种环境中,让我们假定你已经在机器上安装了一个名为“foobar”的应用程序,它会在/var/log下生成foobar.log日志文件。现在,你想要将它的日志定向到rsyslog服务器,这可以通过像下面这样在rsyslog配置文件中加载imfile模块来实现。
首先,加载imfile模块,这只需做一次。
module(load="imfile" PollingInterval="5")
然后,指定日志文件的路径以便imfile模块可以检测到:
input(type="imfile"
File="/var/log/foobar.log"
Tag="foobar"
Severity="error"
Facility="local7")
最后,定向local7设备到远程rsyslog服务器:
local7.* @192.168.1.25:514
别忘了重启rsyslog进程哦!
步骤三: 让Rsyslog进程自动启动
要让rsyslog客户端在每次系统重启后自动启动,请运行以下命令:
CentOS 7:
# systemctl enable rsyslog.service
CentOS 6:
# chkconfig rsyslog on