# rsyslog统一日志收集系统
[TOC]
## 一 rsyslog相关基础
### A rsyslog 日志服务器的优势:
Rsyslog的全称是`rocket-fast system for log`,它提供了高性能,高安全功能和模块化设计。rsyslog能够接受从各种各样的来源,将其结果输出的到不同的目的地。 rsyslog可以提供超过每秒一百万条消息给目标文件。
**特点:**
* 多线程
* 可以通过许多协议进行传输UDP,TCP,SSL,TLS,RELP;
* 直接将日志写入到数据库;
* 支持加密协议:ssl,tls,relp
* 强大的过滤器,实现过滤日志信息中任何部分的内容
* 自定义输出格式;
### B rsyslog配置文件模块
rsyslog有完善的input-filter-output模块,但是由于现在有更强大的elk日志套件, rsyslog在我手中的用途只是用来统一收集某类日志(如sshd登录日志)到指定服务器,后续的再将该日志导入elk系统 因此这里不再详述rsyslog的这些模块,有兴趣的网上找相关文档
### C rsyslog配置文件规则
rsyslog.conf中日志规则的典型格式如下:
~~~
facitlity.priority action
#日志类型.日志级别 存储位置/动作
#日志类型和日志级别都可以用*(星号)表示所有
~~~
1. `facility`: 日志类型
| 日志类型 | 类型说明 |
| --- | --- |
| auth | pam 认证日志 |
| authpriv | ssh,ftp 等登录信息的验证信息,认证授权认证 |
| cron | 定时任务相关日志 |
| kern | 内核日志 |
| lpr | 打印及日志 |
| mail | 邮件日志 |
| mark/syslog | rsyslog 服务内部的信息日志 |
| news | 新闻组日志 |
| user | 用户程序产生的相关日志 |
| uucp | unix 主机之间相关的通讯日志 |
| local | 1~7 #自定义的日志设备 |
2. `priority`: 日志级别:
| 日志级别 | 级别说明 |
| --- | --- |
| debug | 调式信息的,日志信息最多 |
| info | 一般信息的日志,最常用 |
| notice | 最具有重要性的普通条件的信息 |
| warning | 警告级别 |
| error | 错误级别 |
| crit | 比较严重级别 |
| alert | 很严重警报级别 |
| emerg | 内核崩溃等严重信息 |
3. `action`:日志动作
~~~
1)记录到普通文件或设备文件
*.* /var/log/file.log #绝对路径
*.* /dev/pts/0 #设备文件
2)将日志通过管道送给其他命令处理
*.error |awk ....
3)将日志发送到特定的主机
*.emerg @192.168.10.1
4)”用户”,表示将日志发送到特定的用户
*.error root #发送给root用户
*.error * #发送所有登录到系统的用户
~~~
4. 连接符号
~~~
. #表示大于等于xxx级别的信息;
.= #表示等于xxx级别的信息;
.! #表示在xxx之外的等级的信息;
~~~
5. 格式定义案例 定义在/etc/rsyslog.conf配置文件中
~~~
# 表示将mail相关的,info级别及以上级别都记录到mail.log文件中
mail.info /var/log/mail.log
# 表示将auth相关的基本为info信息记录到远程主机
auth.=info @10.0.0.1 使用UDP协议发送到远端主机,默认514端口
auth.=info @@10.0.0.1 使用TCP协议发送到远端主机,默认10514端口
# 表示记录与user和error相反的
user.!error
# 表示记录所有日志信息的info级别及以上级别
*.info
# 所有日志及所有级别信息都记录下来
*.*
# 丢弃日志[~]
cron.* ~
~~~
> PS:多个日志来源可以使用,号隔开,如cron.info;mail.info。
## 二 搭建rsyslog统一收集sshd登录日志
### A 客户端配置
~~~
yum install -y rsyslog
# 清除配置文件中注释,最后一行添加服务端类型
cat >/etc/rsyslog.conf <
# 默认配置
$ModLoad imuxsock # provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none /var/log/messages
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
*.emerg :omusrmsg:*
uucp,news.crit /var/log/spooler
local7.*
#增加配置
authpriv.* @172.17.19.29:514
EOF
~~~
### B 搭建服务端
~~~
yum install -y rsyslog
# 清除配置文件中注释,在中间加入接收端配置
cat >/etc/rsyslog.conf <
# 默认配置第一部分
$ModLoad imuxsock # provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
#--------------新增配置-开始--------------
#开启udp接收日志
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 172.17.0.0/16
#定义日志格式模板(方便后续logstash读取)
$template myformat,"%TIMESTAMP::10:date-rfc3339% %TIMESTAMP:8:15% %hostname% %fromhost-ip% %syslogtag% %msg%\n"
#定义日志存放路径及文件格式
$template sshRemote,"/data/fw_logs/ssh_%$YEAR%-%$MONTH%-%$DAY%.log"
#调用日志模板和文件格式,并过滤部分信息
:fromhost-ip, !isequal, "127.0.0.1" ?sshRemote;myformat
#定义生成的日志文件和文件夹(也是方便logstash读取)
$FileCreateMode 0644
$DirCreateMode 0755
$Umask 0022
#--------------新增配置-结束--------------
#默认配置第二部分
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none /var/log/messages
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
*.emerg :omusrmsg:*
uucp,news.crit /var/log/spooler
local7.*
EOF
~~~
重启服务并验证
~~~
systemctl restart rsyslog
#重启服务后,客户机多次ssh登录验证服务端有没有产生日志
#也可以用logger命令模拟产生日志
logger "rsyslog test from 172.17.19.31" -p authpriv.info
~~~
## 三 rsyslog日志模板:
[参考网址:](https://segmentfault.com/a/1190000003509909)
日志模板中各变量对于的数据样式如下
```sh
msg: Hello, Logger,
rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger,
HOSTNAME: vm-28-234-pro01-hp,
FROMHOST: vm-28-234-pro01-hp,
syslogtag: LogHeader[13845]:,
programname: LogHeader,
PRI: 175,
PRI-text: local5.debug,
IUT: 1,
syslogfacility: 21,
syslogfacility-text: local5,
syslogseverity: 7,
syslogseverity-text: debug,
timereported: Mar 10 15:52:49,
TIMESTAMP: Mar 10 15:52:49,
timegenerated: Mar 10 15:52:49,
PROTOCOL-VERSION: 0,
STRUCTURED-DATA: -,
APP-NAME: LogHeader,
PROCID: 13845,
MSGID: -
```