Linux 之 rsyslog 系统日志转发

一、rsyslog 介绍

  ryslog 是一个快速处理收集系统日志的程序,提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的地,据官网介绍,现在可以处理100万条信息。

  特性:1.多线程

     2.支持加密协议:ssl,tls,relp

     3.mysql、oracle、postgreSQL

     4.等等..

 

二、实践部署()

2.1 环境图

  

2.2.rsyslog server上部署操作

安装rsyslog 程序(rsyslog默认已经在各发行版安装,如果系统中没有的话,可以用yum 进行安装,如下:)

[root@opm ~]# yum install rsyslog -y

编辑rsyslog配置文件,路径 /etc/rsyslog.conf,修改前最好先备份一份,修改后的文件内容如下

[root@opm log]# grep -v "^#" /etc/rsyslog.conf | grep -v "^$"
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$ModLoad immark  # provides --MARK-- message capability
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$WorkDirectory /var/lib/rsyslog
$AllowedSender tcp, 192.168.30.0/24
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                /data/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log

a.$AllowedSender tcp, 192.168.30.0/24 允许 30.0网段内的主机以tcp协议来传输

b.$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"  定义模板,接受日志文件路径,区分了不同主机的日志

c.:fromhost-ip, !isequal, "127.0.0.1" ?Remote 过滤server 本机的日志。

d.$InputTCPServerRun 514 开启tcp,tcp和udp 可以共存的

 

创建日志目录,尽量选择系统内比较大的区域创建,因为考虑到要存放很多服务器的日志文件。

[root@opm ~]# mkdir -pv /data/log

修改完成无误后,重启rsyslog服务,并查看监听端口,514 是否是tcp协议

[root@opm ~]# systemctl restart rsyslog
[root@opm ~]# netstat -aulntp | grep rsyslog
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN      20228/rsyslogd      
tcp6       0      0 :::514                  :::*                    LISTEN      20228/rsyslogd      
udp        0      0 0.0.0.0:514             0.0.0.0:*                           20228/rsyslogd      
udp6       0      0 :::514                  :::*                                20228/rsyslogd      

2.3 客户端上操作:

node1 上进行配置

打开配置文件,老样子,先备份下在进行修改 /etc/rsyslog.conf,修改完记得要重启程序

[root@node1 ~]# grep -v "^$" /etc/rsyslog.conf | grep -v "^#"
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$template myFormat,"%timestamp% %fromhost-ip% %msg%\n"
$ActionFileDefaultTemplate myFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                @@192.168.30.55
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log

ceph1 上进行配置,重启rsyslog程序

打开配置文件/etc/rsyslog.conf

[root@ceph1 ~]# grep -v "^$" /etc/rsyslog.conf | grep -v "^#"
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                @@192.168.30.55
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
$template myFormat,"%timestamp% %fromhost-ip%%msg%\n"
$ActionFileDefaultTemplate myFormat

最后重启客户端上的rsyslog程序

2.4 验证,在服务器上进到 /data/log 目录下,进行查看,会发现以下类似的文件结构

复制代码
[root@opm ~]# tree /data/log/
/data/log/
├── 192.168.30.56 └── 192.168.30.56_2016-05-05.log
├── 192.168.30.57 └── 192.168.30.57_2016-05-05.log
└── messages

2 directories, 3 files
复制代码

messages:server 端的系统日志
文件夹192.168.30.56: node1 客户端的日志
文件夹192.168.30.57: ceph1 客户端的日志

我们这里只查看node1 的系统日志吧。server 上进行操作

[root@opm ~]# tail -f /data/log/192.168.30.56/192.168.30.56_2016-05-05.log 
May  5 20:50:45 node1 rsyslogd: [origin software="rsyslogd" swVersion="7.4.7" x-pid="9296" x-info="http://www.rsyslog.com"] exiting on signal 15.
May  5 20:50:45 node1 rsyslogd: [origin software="rsyslogd" swVersion="7.4.7" x-pid="9334" x-info="http://www.rsyslog.com"] start
May  5 20:50:45 node1 systemd: Stopping System Logging Service...
May  5 20:50:45 node1 systemd: Starting System Logging Service...
May  5 20:50:45 node1 systemd: Started System Logging Service.

这里还可以在node1上在命令行里输入 logger “this is test ” 发送消息,server上进行查看下

[root@opm ~]# tail -1f /data/log/192.168.30.56/192.168.30.56_2016-05-05.log 
May  5 20:52:46 node1 root: this is test

 

2.5.如果验证失败的话,先检查selinux 是否关闭。后将udp 514 端口和tcp 514端口允许30网段访问即可,或者关闭iptables 服务。另外说明centos7上 默认防火墙是firewalld。该操作在每台机器上进行。

 

三、收集系统其它服务日志,在客户端node1 上操作,示例以openstack-nova 服务的日志为例:

3.1.先修改配置文件 /etc/rsyslog.conf,完整内容如下:

[root@node1 ~]# egrep -v '^#|^$' /etc/rsyslog.conf
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$ModLoad immark  # provides --MARK-- message capability
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                @@192.168.30.67
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
module(load="imfile" PollingInterval="5")
$InputFileName /var/log/nova/nova-compute.log
$InputFileTag nova-info:
$InputFileStateFile state-nova-info
$InputRunFileMonitor

其实只添加了后5行的内容,对每项简单解释下

module(load="imfile" PollingInterval="5")        加载imfile 模块,并5秒刷新一次
$InputFileName /var/log/nova/nova-compute.log     要监控的日志文件路径 
$InputFileTag nova-info:                  定义文件标签 ,注意最后是冒号:
$InputFileStateFile state-nova-info            定义状态文件
$InputRunFileMonitor                  激活读取,可以设置多组日志读取,每组结束时设置本参数             

 3.2.修改完成后,重启客户端的rsyslog服务

[root@node1 ~]# systemctl restart rsyslog

3.3 验证,在rsyslog服务器上查看日志,如下图

 

四、总结

  以前不知道这个,总以为日志转发很难,现在感觉rsyslog还是挺简单的。不过简单是因为我们只是用了最简单方法,而且功能也是只用了系统日志的转发,后续会尝试如何记录转发其它服务的日志,比如mysql、zabbix、以及nova 服务的日志。这些才是最终的目的。


来源:https://www.cnblogs.com/hanyifeng/p/5463338.html

Linux rsyslog 简记

10-10

初学Linux rsyslog记录rnrnrsyslog服务提供对分布式日志的集中化管理,将各分布主机上的日志收集到集中式日志服务器上。rnrn一、首先需要在日志服务器Server端开启远程服务。修改配置文件:/var/log/rsyslog.confrnrn以下为开启UDP连接:rnrn# provides UDP syslog receptionrn$ModLoad imudprn$UDPServerRun 514rnrn以下为开启TCP连接:rnrn# provides TCP syslog receptionrn$ModLoad imtcprn$InputTCPServerRun 514rnrnrn修改完成后需要重启rsyslog服务。执行命令 # restart rsyslogrnrn二、然后在存放日志的Local主机建立到Server的连接。同样,修改配置文件:/var/log/rsyslog.confrnrn$ModLoad imfile#use "imfile" module to monitor filesrnrn# monitor file1rn$InputFileName /home/yurunsheng/file1.logrn$InputFileTag file1_tag:rn$InputFileFacility local1rn$InputFileStateFile file1_statern$InputRunFileMonitorrnrn# monitor file2rn$InputFileName /home/yurunsheng/file2.logrn$InputFileTag file2_tag:rn$InputFileFacility local2rn$InputFileStateFile file2_statern$InputRunFileMonitorrnrnlocal1.*;local2.*@@172.16.93.133:514 # setup connectionrn to logging serverrnrn关于imfile及更多配置参数 点此rnrn注意,因为服务器开启的是TCP连接,故此处两个“@”符。若建立UDP连接,则为一个。@后接服务器地址加端口rnrn三、再回到服务器端,设置收集到的日志的存放位置。rnrnlocal1.* /var/log/file1_on_server.logrnrnrnlocal2.* /var/log/file2_on_server.logrnrn以上两行分别设置两个文件在server上的存放目录。rnrnrnrnrn每次修改rsyslog.conf后都需重启rsyslog服务以生效rn

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试