Rsyslog 配置接收Syslog - 轻量化日志存储

简介

基于Rocky LInux 8 搭建，也适用于其他RHEL8-9衍生发行版。

注意关闭Selinux和配置防火墙。

日志文件存放主目录为 /var/syslog/下，会自动创建发日志主机IP的文件夹，并将日志存放在每天创建的log文件里面。

路径格式 /var/log/主机IP地址/主机IP地址_年-月-日.log

如：192.168.0.1_2038-02-27.log

以文本存储方式虽然不便于搜索，但可以按照每台每天的日志全部下载，Rsyslog相对于ELK也更轻量化、简单化、占用资源低。

也可以配置定时任务，压缩历史日志，以节省存储空间。

安装

dnf install rsyslog
systemctl enable --now  rsyslog
# 确认已经按照和配置开机启动。

配置

vim /etc/rsyslog.conf

增加或取消注释，配置UDP/TCP 514 端口接收syslog日志

$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514

配置所有来源IP的日志到指定文件夹的指定文件

$template Remote,"/var/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
# 日志文件存放主目录为 /var/syslog/下，会自动创建发日志主机IP的文件夹，并将日志存放在每天创建的log文件里面。
# 路径格式 /var/log/主机IP地址/主机IP地址_年-月-日.log

配置根据IP来源分类配置（可选）

$template aaa,"/log/%$YEAR%-%$MONTH%/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%-%$HOUR%.log"
:fromhost-ip, isequal,"192.168.10.1" ? aaa
:fromhost-ip, isequal, "192.168.20.1"? aaa
注：将192.168.10.1 and 192.168.20.1的log存放到aaa指定的目录中
$template bbb,"/log/%$YEAR%-%$MONTH%/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%-%$HOUR%.log"
:fromhost-ip, startswith,"192.168.10." ?bbb
:fromhost-ip, startswith,"192.168.20." ?bbb
:fromhost-ip, startswith,"192.168.30." ?bbb
注：将192.168.10.X , 192.168.20.X, 192.168.30.X的设备log存到bbb指定的目录中

PS：配置完成需要重启生效。

PS：可以配合VDO 进行透明重删存储。（文本文件压缩率高）

定时压缩 shell脚本

将/data/syslog/下七天以上未修改过的log文件压缩gz文件，并删除源文件。 配置到 corntab 定时执行即可。

#!/bin/bash
cd /data/syslog/
find . -name "*.log" -type f -mtime +7 | xargs -I {} tar -zcvf {}.tar.gz {} --remove-files

使用 Zstd

Zstd是Facebook开源的压缩算法，有更好的压缩率和解压缩性能。

PS：Windows 上推荐使用Bandizip打开。

安装zstd

yum install zstd -y

脚本

#!/bin/bash
cd /data/syslog/
find . -name "*.log" -type f -mtime +7 | xargs -I {} zstd {} --rm

参考

https://blog.csdn.net/arelinzhi/article/details/80404841

https://www.mbrjun.cn/archives/467/