rsyslog的三种传输协议

最新推荐文章于 2024-07-26 10:27:53 发布
最新推荐文章于 2024-07-26 10:27:53 发布
阅读量7.3k 收藏 3
点赞数
分类专栏： server

rsyslog的三种传输协议

 

debian rsyslog 传输协议

简介

rsyslog 可以理解为多线程增强版的syslog。 
在syslog的基础上扩展了很多其他功能，如数据库支持（Mysql、PostgreSQL、Oracle等）、日志内容筛选、定义日志格式模板等。

目前大多数linux发行版默认也是使用rsyslog进行日志记录。这里主要介绍rsyslog的几种传输协议。

协议

rsyslog提供了三种远程传输协议，分别是：

  • UDP 传输协议 
    基于传统UDP协议进行远程日志传输，也是传统syslog使用的传输协议； 
    可靠性比较低，但性能损耗最少， 在网络情况比较差， 
    或者接收服务器压力比较高情况下，可能存在丢日志情况。 
    在对日志完整性要求不是很高，在可靠的局域网环境下可以使用。

  • TCP 传输协议 
    基于传统TCP协议明文传输，需要回传进行确认，可靠性比较高； 
    但在接收服务器宕机或者两者之间网络出问题的情况下，会出现丢日志情况。 
    这种协议相比于UDP在可靠性方面已经好很多，并且rsyslog原生支持，配置简单， 
    同时针对可能丢日志情况，可以进行额外配置提高可靠性，因此使用比较广。

  • RELP 传输协议 
    RELP（Reliable Event Logging Protocol）是基于TCP封装的可靠日志消息传输协议； 
    是为了解决TCP 与 UDP 协议的缺点而在应用层实现的传输协议，也是三者之中最可靠的。 
    需要多安装一个包rsyslog-relp以支持该协议。

对于线上服务器，为了日志安全起见，建议使用还是使用 RELP 协议进行传输。 
以下是man手册中对RELP的描述：

ManPage 
RELP can be used instead of UDP or plain TCP syslog to provide reliable delivery of syslog messages. Please note that plain TCP syslog does NOT provide truly reliable delivery, with it messages may be lost when there is a connection problem or the server shuts down. RELP prevents message loss in those cases.

关于RELP的更多详细资料，可以参考一下链接：

配置

rsyslog的主配置文件是：/etc/rsyslog.conf 
但通常并不会去修改主配置文件，而是在include目录中创建自定义的配置文件， 
当加载主配置文件后，会自动到加载其他子配置文件（/etc/rsyslog.d/）。

因此，对于自定义的配置，一般都是在/etc/rsyslog.d目录下创建新的配置文件， 
关联不大的配置内容尽量独立配置文件，方便管理。

下面介绍三种协议一些简单的配置

UDP传输配置

在服务端创建配置文件：/etc/rsyslog.d/udp.conf， 
并按照以下内容进行配置，完成后重启rsyslog（/etc/init.d/rsyslog restart） 
另外需要确保iptables没有封禁相应端口。

# server configure

$ModLoad imudp # 加载模块

$UDPServerRun 10514    # 指定监听端口

$AllowedSender UDP, 10.0.0.0/16    # 设置白名单



# 根据客户端IP存放到不同目录下，以日期命名文件

$template location,/data/%fromhost-ip%/%$YEAR%-%$MONTH%-%$DAY%.log

# 自定义日志格式

$template uformat,"%fromhost-ip% %msg%\n"



# 把非本地传输的日志按照指定的文件路径及格式保存

:fromhost-ip, !isequal, "127.0.0.1" -?location;uformat

# & 表示已经匹配处理的内容，~ 表示不再进行其他处理

& ~

在客户端创建配置文件：/etc/rsyslog.d/udp_send.conf

# client configure

*.*     @10.0.0.1:10514 # 表示所有日志都发送到指定server

配置完成后，需要重启rsyslog，然后就可以到服务端检查日志是否发送成功。

TCP传输配置

服务端配置：/etc/rsyslog.d/tcp.conf

# server configure

$ModLoad imtcp # 加载模块

$UDPServerRun 20514    # 指定监听端口

$AllowedSender TCP, 10.0.0.0/16    # 设置白名单



# 根据客户端IP存放到不同目录下，以日期命名文件

$template location,/data/%fromhost-ip%/%$YEAR%-%$MONTH%-%$DAY%.log

# 自定义日志格式

$template uformat,"%fromhost-ip% %msg%\n"



# 把非本地传输的日志按照指定的文件路径及格式保存

:fromhost-ip, !isequal, "127.0.0.1" -?location;uformat

# & 表示已经匹配处理的内容，~ 表示不再进行其他处理

& ~

客户端配置：/etc/rsyslog.d/tcp_send.conf

# client configure

*.*     @@10.0.0.1:20514    # 表示所有日志都发送到指定server

配置完分别在服务端及客户端上重启rsyslog服务即可：

/etc/init.d/rsyslog restart

关于TCP与UDP传输的对比，官网上的推荐：Using the syslog receiver module

RELP传输配置

使用RELP协议需要rsyslog-relp包，需要在服务端及客户端都安装：

apt-get update

apt-get -y install rsyslog-relp

接下来就对服务端进行配置（/etc/rsyslog.d/relp.conf）

# server configure

$ModLoad imrelp    # 加载模块

$UDPServerRun 30514    # 指定监听端口



# 根据客户端IP存放到不同目录下，以日期命名文件

$template location,/data/%fromhost-ip%/%$YEAR%-%$MONTH%-%$DAY%.log

# 自定义日志格式

$template uformat,"%fromhost-ip% %msg%\n"



# 把非本地传输的日志按照指定的文件路径及格式保存

:fromhost-ip, !isequal, "127.0.0.1" -?location;uformat

# & 表示已经匹配处理的内容，~ 表示不再进行其他处理

& ~

客户端配置（/etc/rsyslog.d/relp_send.conf）

# client configure

*.*     :omrelp:10.0.0.1:30514  # 表示所有日志都发送到指定serve

配置完分别在服务端及客户端上重启rsyslog服务即可：

/etc/init.d/rsyslog restart
麦晓宇
关注
专栏目录
rsyslog-relp-8.24.0-57.el7_9.1.x86_64.rpm
12-16
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
rsyslog学习
cleanfield的专栏
11-23 596
rsyslog的消息流是从输入模块->预处理模块->主队列->过滤模块->执行队列->输出模块。
Linux下rsyslog日志收集服务环境部署记录
最新发布
m0_65151204的博客
07-26 572
rsyslog可以理解为多线程增强版的syslog。在syslog的基础上扩展了很多其他功能，如数据库支持(MySQL、PostgreSQL、Oracle等)、日志内容筛选、定义日志格式模板等。目前大多数Linux发行版默认也是使用rsyslog进行记录。
rsyslog使用:omrelp:方式配置远程转发
刘元林的博客
02-23 1528
rsyslog有三种转发消息的方式UDP传输：它的损耗很大，但很标准;TCP传输：它只在某些情况下丢失消息，但大多数情况下是正常的;RELP传输：而RELP传输不会丢失消息，但目前仅作为rsyslogd 3.15.0及以上版本的一部分可用。要通过UDP将消息转发到另一个主机，请在主机名前面加上at符号(“@”)。要通过普通tcp转发，请在前面加上两个@号(“@@”)。要通过RELP转发，请在主机名前面加上字符串“:omrelp:”。
RELP（Reliable Event Logging Protocol）
u010154760的专栏
04-20 4364
Reliable Event Logging Protocol (RELP）是在计算机网络上针对计算机数据记录的一个网络协议。它基于syslog协议的思想但是在其上实现了拓展来对于事件消息提供可靠的传输。它最常使用在信息丢失不能被接受的环境中，比如一个商业公司。 概述：   RELP使用TCP来实现信息传输，这对于信息丢失提供了基本的保护，但是并不能在任何情况下保证传输。当一个连接终止时，TC
使用openSSL和nginx搭建本地https服务
泗水长流的博客
01-01 1298
使用openSSL和nginx搭建本地https服务一.写在前面的话二、实验过程1.实验环境及物料2.证书中的信息说明3.Win64 OpenSSL v1.1.1i下载4.OpenSSL自建服务端证书请求1.生成服务端私钥2.由私钥生成待签名证书3.查看CSR文件中的信息5.OpenSSL自建CA根证书1.创建CA私钥2.生成CA待签名证书3.生成CA根证书6.OpenSSL生成服务端证书7.nginx中配置证书1.Nginx开启SSL模块2.上传证书文件到服务器3.在nginx上配置证书文件4.启动ngi
Syslog详细介绍：日志管理和远程日志传输
深耕嵌入式领用多年， 致力于分享嵌入式领域技术!
06-03 3671
Syslog详细介绍：日志管理和远程日志传输
【rsyslog系列】rsyslog远程接收日志服务器配置文件之UDP/TCP协议
11-17
搭建rsyslog远程接收日志服务器时，要想要服务器生效，必须按照实际使用场景配置rsyslog的配置文件，该配置文件资源应用于rsyslog v8版本的UDP/TCP协议传输场景。由于rsyslog v8版本对于v5版本有一些格式上的更新，...
rsyslog安装包适合centos6
09-22
7. **可靠传输**：rsyslog支持TCP和UDP，以及更可靠的TLS/SSL协议，保证日志传输的完整性。 **在CentOS 6上安装rsyslog 8.20** 在CentOS 6上安装rsyslog 8.20，可以通过RPM包管理器`rpm`执行以下命令： ```bash ...
rsyslog配置说明.docx
04-02
远程日志传输主要有三种方式：UDP、TCP 和 RELP。其中，UDP 是默认方式，其特点是轻量级且快速，但可靠性较低；TCP 更可靠，适用于对数据完整性要求较高的场景；RELP 最可靠，但因为实现较新，实际应用较少。 **...
rsyslog-tls.zip
12-01
rsyslog是一款广泛使用的日志收集和管理系统，它支持多种协议和网络传输，使得远程日志管理和监控变得简单。在当今网络安全日益重要的背景下，日志传输的安全性成为了不可忽视的一环。本文档将深入探讨如何使用...
rsyslog-8.32.0.tar.gz
07-09
rsyslog-8.32.0是该软件的一个具体版本，其tar.gz文件格式是一种常见的Linux软件打包方式，用于在不依赖任何特定安装程序的情况下分发和安装软件。 rsyslog的核心功能包括： 1. **日志收集**：rsyslog能够从系统...
syslog配置连接加密的kafka
MTonj的博客
03-16 3459
syslog配置连接加密的kafka
Rsyslog 日志集中管理实验
weixin_42795092的博客
03-28 977
（server）host-5(192.168.1.2)<------------>(192.168.1.3)host-6（client）将 host-6上的日志传输到 host-5上。在服务器端：除了修改/etc/rsyslog 中的传输方式外，还要修改/etc/sysconfig/rsyslog 中。C/S 架构：客户端将其日志上传到服务器端，通过对服务器端日志的查询，来实现对其他客户端的日志进行集中管理。配置文件下的监听端口是否一致；注意之前若采用的是udp传输，改tcp传输需注释之前的udp传输。
Rsyslog 8.1901.0 配置Tls模式加密传输log
qq_34399969的博客
12-18 1302
Rsyslog 8.1901.0 配置Tls模式
rsyslog配置文档
u013159360的博客
08-01 5509
Rsyslog的全称是rocket-fastsystemforlog，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其输入，输出的结果到不同的目的地。rsyslog可以提供超过每秒一百万条消息给目标文件。特点1.多线程2.可以通过许多协议进行传输UDP，TCP，SSL，TLS，RELP；3.直接将日志写入到数据库;4.支持加密协议5.强大的过滤器，实现过滤日志信息中任何部分的内容6.自定义输出格式；......
网络协议 — syslog 协议与 rsyslog 日志服务
烟云的计算
07-27 3148
通过适当配置，还可以实现运行 Syslog 协议的机器之间的通信。rsyslog 能够接受从各种各样的来源，将其输入，输出的结果到不同的目的地。Queue 模块负责消息的存储，从 Input 传入的未经过滤的消息放在主队列中，过滤后的消息放入到不同 action queue 中，再由 action queue 送到各个输出模块。Syslog（系统日志）协议是一种在 IP 网络中转发系统日志信息的标准，它是在 BSD 大学的 TCP/IP 系统实施中开发的，目前已成为工业标准协议，可用它记录设备的日志。
Observability：你所需要知道的关于 Syslog 的一些知识
Elastic 中国社区官方博客
08-03 2272
Syslog 是一种标准，用于以特定格式从各种网络设备发送和接收通知消息。 这些消息包括时间戳、事件消息、严重性、主机 IP 地址、诊断等。 就其内置的严重性级别而言，它可以传达级别 0、紧急、级别 5、警告、系统不稳定、严重以及级别 6 和 7（即信息和调试）之间的范围。 此外，Syslog 是开放式的。 Syslog 旨在监控网络设备和系统，以便在出现任何功能问题时发送通知消息——它还针对预先通知的事件发出警报，并通过参与网络设备的更改日志/事件日志来监控可疑活动。...
syslog的安全性配置和认证机制
互联网知识分享
12-12 1098
在上面的代码案例中，我们使用了syslog-ng作为示例，通过配置destination来指定日志的传输目的地，在这个例子中，我们使用了network模块来指定日志传输的目标IP地址和传输方式为TLS。在上面的代码案例中，我们配置了source来指定日志的来源，使用file模块来指定日志文件的路径，并通过program-override指定了日志的程序标识为sshd。在上面的代码案例中，我们配置了一个日志记录的log，来指定日志的来源和存储的目的地。这样可以将所有的日志信息进行审计和存储。
linux rsyslog
09-03
### 回答1： Linux rsyslog是一种高性能的日志管理工具，它可以收集、处理和转发各种类型的日志数据。它支持多种日志协议和格式，包括syslog、JSON、XML等。rsyslog还提供了强大的过滤、分析和转换功能，可以帮助管理员更好地管理和监控系统日志。同时，rsyslog还支持多种输出方式，包括文件、数据库、网络等，可以满足不同场景下的需求。 ### 回答2： Linux rsyslog是一种高性能的系统日志管理工具，可以用于收集、存储和分析各种系统事件和错误消息。 rsyslog的主要功能包括：日志的收集和传输、过滤和处理、存储和归档、以及实时监控和告警。 在日志的收集和传输方面，rsyslog支持多种协议，比如UDP、TCP、TLS和REL TCP等，可以从远程服务器、网络设备和应用程序等多个来源收集日志，并将其传输到指定的目的地。 rsyslog的过滤和处理功能很强大，可以根据配置文件中定义的规则，对收集到的日志进行过滤、分类和处理。这些规则可以根据日志的来源、内容和级别等进行设置，以实现针对性的日志管理。 存储和归档是rsyslog的重要功能之一，它可以将收集到的日志按照指定的方式和格式保存到本地文件或者远程存储服务器上。同时，rsyslog还支持归档和压缩等操作，帮助用户有效管理和存储大量的日志数据。 实时监控和告警是rsyslog的关键特性之一，通过实时监控日志的产生和变化，用户可以迅速发现系统中的异常情况，并及时采取措施。同时，rsyslog还支持通过邮件、短信或者其他方式发送告警通知，及时通知用户发生的重要事件和错误。 总之，Linux rsyslog是一款功能强大的系统日志管理工具，其灵活的配置和高性能的特性，使得它成为了广泛应用于各种Linux环境中的首选工具。 ### 回答3： Linux rsyslog是一种强大而灵活的系统日志管理工具。它是Linux操作系统中的标准日志处理程序，可用于收集、处理和存储系统日志。rsyslog支持各种日志协议，包括Syslog、TCP、UDP和TLS，并支持日志的过滤、转发和存储。 rsyslog的功能非常丰富，使管理员能够对日志进行详细的配置和控制。它可以实现日志的中央化管理，通过配置服务器和客户端，将分散在多台计算机上的日志集中到一个地方进行集中存储和分析。这对于大型网络环境下的集中日志管理非常有用。 rsyslog还支持灵活的日志过滤功能，可以根据不同的条件过滤和筛选日志。管理员可以根据需求设置过滤规则，将特定类型或级别的日志集中处理或存储，从而提高系统安全性和效率。 此外，rsyslog还支持插件和模块的扩展。它可以通过插件来支持各种日志格式和处理方式，例如JSON、数据库、邮件等。管理员可以根据自己的需求选择适合的插件来实现定制化的日志处理功能。 总之，rsyslog是一个功能强大且高度可配置的系统日志管理工具，通过它，管理员可以方便地收集、处理和存储系统日志。它的灵活性和可扩展性使其成为Linux系统中不可或缺的一部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值