linux主机服务器日志采集,rsyslog日志统一收集系统

# rsyslog统一日志收集系统

[TOC]

## 一 rsyslog相关基础

### A rsyslog 日志服务器的优势:

Rsyslog的全称是`rocket-fast system for log`，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其结果输出的到不同的目的地。 rsyslog可以提供超过每秒一百万条消息给目标文件。

**特点：**

* 多线程

* 可以通过许多协议进行传输UDP，TCP，SSL，TLS，RELP；

* 直接将日志写入到数据库;

* 支持加密协议：ssl，tls，relp

* 强大的过滤器，实现过滤日志信息中任何部分的内容

* 自定义输出格式；

### B rsyslog配置文件模块

rsyslog有完善的input-filter-output模块,但是由于现在有更强大的elk日志套件, rsyslog在我手中的用途只是用来统一收集某类日志(如sshd登录日志)到指定服务器,后续的再将该日志导入elk系统 因此这里不再详述rsyslog的这些模块,有兴趣的网上找相关文档

### C rsyslog配置文件规则

rsyslog.conf中日志规则的典型格式如下:

~~~

facitlity.priority action

#日志类型.日志级别   存储位置/动作

#日志类型和日志级别都可以用*(星号)表示所有

~~~

1. `facility`: 日志类型

| 日志类型 | 类型说明 |

| --- | --- |

| auth | pam 认证日志 |

| authpriv | ssh,ftp 等登录信息的验证信息，认证授权认证 |

| cron | 定时任务相关日志 |

| kern | 内核日志 |

| lpr | 打印及日志 |

| mail | 邮件日志 |

| mark/syslog | rsyslog 服务内部的信息日志 |

| news | 新闻组日志 |

| user | 用户程序产生的相关日志 |

| uucp | unix 主机之间相关的通讯日志 |

| local | 1~7 #自定义的日志设备 |

2. `priority`: 日志级别:

| 日志级别 | 级别说明 |

| --- | --- |

| debug | 调式信息的，日志信息最多 |

| info | 一般信息的日志，最常用 |

| notice | 最具有重要性的普通条件的信息 |

| warning | 警告级别 |

| error | 错误级别 |

| crit | 比较严重级别 |

| alert | 很严重警报级别 |

| emerg | 内核崩溃等严重信息 |

3. `action`：日志动作

~~~

1)记录到普通文件或设备文件

*.*     /var/log/file.log   #绝对路径

*.*     /dev/pts/0          #设备文件

2)将日志通过管道送给其他命令处理

*.error |awk ....

3)将日志发送到特定的主机

*.emerg @192.168.10.1

4)”用户”，表示将日志发送到特定的用户

*.error   root   #发送给root用户

*.error   *      #发送所有登录到系统的用户

~~~

4. 连接符号

~~~

.                  #表示大于等于xxx级别的信息；

.=                 #表示等于xxx级别的信息；

.!                 #表示在xxx之外的等级的信息；

~~~

5. 格式定义案例 定义在/etc/rsyslog.conf配置文件中

~~~

# 表示将mail相关的,info级别及以上级别都记录到mail.log文件中

mail.info /var/log/mail.log

# 表示将auth相关的基本为info信息记录到远程主机

auth.=info @10.0.0.1 使用UDP协议发送到远端主机,默认514端口

auth.=info @@10.0.0.1 使用TCP协议发送到远端主机,默认10514端口

# 表示记录与user和error相反的

user.!error

# 表示记录所有日志信息的info级别及以上级别

*.info

# 所有日志及所有级别信息都记录下来

*.*

# 丢弃日志[~]

cron.* ~

~~~

> PS：多个日志来源可以使用,号隔开,如cron.info;mail.info。

## 二 搭建rsyslog统一收集sshd登录日志

### A 客户端配置

~~~

yum install -y rsyslog

​

# 清除配置文件中注释,最后一行添加服务端类型

cat >/etc/rsyslog.conf <

# 默认配置

$ModLoad imuxsock  # provides support for local system logging

$ModLoad imjournal # provides access to the systemd journal

$WorkDirectory /var/lib/rsyslog

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

​

$IncludeConfig /etc/rsyslog.d/*.conf

$OmitLocalLogging on

$IMJournalStateFile imjournal.state

*.info;mail.none;authpriv.none;cron.none   /var/log/messages

authpriv.*         /var/log/secure

mail.*              -/var/log/maillog

cron.*             /var/log/cron

*.emerg             :omusrmsg:*

uucp,news.crit     /var/log/spooler

local7.*

#增加配置

authpriv.*         @172.17.19.29:514

​

EOF

~~~

### B 搭建服务端

~~~

yum install -y rsyslog

​

# 清除配置文件中注释,在中间加入接收端配置

cat >/etc/rsyslog.conf <

# 默认配置第一部分

$ModLoad imuxsock  # provides support for local system logging

$ModLoad imjournal # provides access to the systemd journal

$WorkDirectory /var/lib/rsyslog

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

​

#--------------新增配置-开始--------------

#开启udp接收日志

$ModLoad imudp

$UDPServerRun 514

$AllowedSender UDP, 172.17.0.0/16

#定义日志格式模板(方便后续logstash读取)

$template myformat,"%TIMESTAMP::10:date-rfc3339% %TIMESTAMP:8:15% %hostname% %fromhost-ip% %syslogtag% %msg%\n"

#定义日志存放路径及文件格式

$template sshRemote,"/data/fw_logs/ssh_%$YEAR%-%$MONTH%-%$DAY%.log"

#调用日志模板和文件格式,并过滤部分信息

:fromhost-ip, !isequal, "127.0.0.1" ?sshRemote;myformat

#定义生成的日志文件和文件夹(也是方便logstash读取)

$FileCreateMode 0644

$DirCreateMode 0755

$Umask 0022

#--------------新增配置-结束--------------

​

#默认配置第二部分

$IncludeConfig /etc/rsyslog.d/*.conf

$OmitLocalLogging on

$IMJournalStateFile imjournal.state

*.info;mail.none;authpriv.none;cron.none   /var/log/messages

authpriv.*         /var/log/secure

mail.*              -/var/log/maillog

cron.*             /var/log/cron

*.emerg             :omusrmsg:*

uucp,news.crit     /var/log/spooler

local7.*

EOF

~~~

重启服务并验证

~~~

systemctl restart rsyslog

#重启服务后,客户机多次ssh登录验证服务端有没有产生日志

#也可以用logger命令模拟产生日志

logger "rsyslog test from 172.17.19.31" -p authpriv.info

~~~

## 三 rsyslog日志模板:

[参考网址:](https://segmentfault.com/a/1190000003509909)

日志模板中各变量对于的数据样式如下

```sh

msg: Hello, Logger,

rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger,

HOSTNAME: vm-28-234-pro01-hp,

FROMHOST: vm-28-234-pro01-hp,

syslogtag: LogHeader[13845]:,

programname: LogHeader,

PRI: 175,

PRI-text: local5.debug,

IUT: 1,

syslogfacility: 21,

syslogfacility-text: local5,

syslogseverity: 7,

syslogseverity-text: debug,

timereported: Mar 10 15:52:49,

TIMESTAMP: Mar 10 15:52:49,

timegenerated: Mar 10 15:52:49,

PROTOCOL-VERSION: 0,

STRUCTURED-DATA: -,

APP-NAME: LogHeader,

PROCID: 13845,

MSGID: -

```