Rsyslog Queue调优

原创 2016年08月29日 16:14:01
Rsyslog 是很多linux发行版中默认的日志管理工具,用于替换陈旧的syslog. 个人觉得它的设计很简单可靠.以下是rsyslog的一个处理流程,摘抄自RHEL:


在rsyslog中的queue有一种 Disk-Assisted In-memory 工作模式,可用于转发时中心服务器宕机导致日志丢失的情况。
只需在配置中添加 $objectQueueFileName 选项即可激活此模式.
而另外3个参数则可控制对列具体工作情况,
$objectQueueSize number		 # In-memory 对列大小
$objectQueueHighWatermark number #触发写文件当前 In-memory 对列阀值 
$objectQueueLowWatermark  humber #触发停止写文件当前 In-memory 对列阀值 

配置示例:
# 使用老版语法必须在每个action前都定义一次配置


$ActionQueueType LinkedList
$ActionQueueFileName example_fwd1
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
*.*       @@example1.com


$ActionQueueType LinkedList
$ActionQueueFileName example_fwd2 
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
*.*       @@example2.com


新版语法
*.* action(type="omfwd"
      queue.type="linkedlist"
      queue.filename="example_fwd"
      action.resumeRetryCount="-1"
      queue.saveOnShutdown="on"
      queue.maxDiskSpace="5g"
      target="example.com" port="514" protocol="tcp"
     )


注:
1> rsyslog 官网的文档实在是太乱了,尤其是配置文件部分,每个版本都有改动,但是官网只有最新版本的参数介绍,好几次我按照文档的参数写配置文件,或者报错,或者参数不起作用, 如果使用 RHEL/CentOS,强烈建议查看RHEL官方手册中的 rsyslog 章节.
2> Disk-Assisted In-memory 在 omelasticsearch, omhdfs, omkafka, ommongodb, ommysql 这些模块使用中强烈建议使用;


参考:

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/System_Administrators_Guide/s1-working_with_queues_in_rsyslog.html#sec-Using_the_New_Syntax_for_rsyslog_queues
http://www.rsyslog.com/doc/master/rainerscript/queue_parameters.html
http://www.rsyslog.com/doc/v7-stable/concepts/queues.html

http://www.rsyslog.com/doc/master/configuration/modules/idx_output.html

syslog syslog-ng rsyslog flume scribe 各种尝试

rsyslog queue

http://www.rsyslog.com/doc/v8-stable/concepts/queues.html 1.所有消息先进主队列,再根据过滤器进响应队列,进去之后主队列消息删除; 2.$...
  • yangguanghaozi
  • yangguanghaozi
  • 2016年07月22日 15:03
  • 824

rsyslog性能表现

syskolgd的缺点 虽说 Sysklogd 已经发展进30余年,但其性能在高负载下会有诸多问题,如: Ø  记录丢失 Syslog 默认使用 UDP 514 端口来接收远程主机发送过来的...
  • fishmai
  • fishmai
  • 2016年07月06日 19:11
  • 1971

rsyslog

RSYSLOG is the rocket-fast system for log processing. 本地Rsyslog版本: 7.4.4 配置 基本语法 Rsyslog 现在支持三种...
  • u010154760
  • u010154760
  • 2015年04月23日 15:26
  • 1114

rsyslog性能表现

syskolgd的缺点 虽说 Sysklogd 已经发展进30余年,但其性能在高负载下会有诸多问题,如: Ø  记录丢失 Syslog 默认使用 UDP 514 端口来接收远程主机发送过来的...
  • fishmai
  • fishmai
  • 2016年07月06日 19:11
  • 1971

rsyslog的多规则集

自从4.5.0和5.1.1版本开始,rsyslog支持在单个配置中的多个规则集。这对于路由根据一系列指定的规则收到的远程消息十分有用。注意到输入模块必须支持绑定到非标准规则集,所以这个功能可能并不是对...
  • u010154760
  • u010154760
  • 2015年04月22日 22:03
  • 1762

rsyslog——第二章 rsyslog的概念

第二章 rsyslog的概念 2.1属性替代 Rsyslog 预定义了一些属性,来代表消息中的信息,我们可以在定义输出格式、动态文件名的时候使用到这些属性。这里面比较重要的属性比如:msg(消...
  • chenhao112358
  • chenhao112358
  • 2014年11月07日 14:12
  • 5864

rsyslog的relp转发及自定义端口号问题

rsyslog机制很强大,可以汇聚分散的日志到一台日志服务器上,方便查看和调试。安装起来非常简单: shell> cd /etc/yum.repos.d/ shell> wget http://r...
  • u011630575
  • u011630575
  • 2016年07月31日 11:14
  • 1041

linux远程日志rsyslog服务端和客户端安装

linux远程日志rsyslog服务端和客户端安装用rsyslog的缘由: 1.防止系统崩溃无法获取系统日志分享崩溃原因,用rsyslog可以把日志传输到远程的日志服务器上 2.使用rsyslog...
  • u010154380
  • u010154380
  • 2017年04月20日 12:38
  • 1260

注意:rsyslog 源码安装 会出现日志重复发的情况,需要rpm包安装

cd /etc/yum.repos.d;wget http://rpms.adiscon.com/v8-stable/rsyslog.repo uat-web02:/etc/yum.repos.d# ...
  • zhaoyangjian724
  • zhaoyangjian724
  • 2016年09月26日 09:37
  • 570

CentOS上配置rsyslog客户端用以远程记录日志

RSSTAGIBM Power Systems LC 服务器 关于我们/aboutus广告合作/AD 帐号 自动登录  找回密码 密码 登录  骑士注册 ...
  • fishmai
  • fishmai
  • 2016年07月06日 20:28
  • 1423
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Rsyslog Queue调优
举报原因:
原因补充:

(最多只允许输入30个字)