Rsyslog Queue调优

标签: rsyslogDAqueue
1195人阅读 评论(0) 收藏 举报
分类:
Rsyslog 是很多linux发行版中默认的日志管理工具,用于替换陈旧的syslog. 个人觉得它的设计很简单可靠.以下是rsyslog的一个处理流程,摘抄自RHEL:


在rsyslog中的queue有一种 Disk-Assisted In-memory 工作模式,可用于转发时中心服务器宕机导致日志丢失的情况。
只需在配置中添加 $objectQueueFileName 选项即可激活此模式.
而另外3个参数则可控制对列具体工作情况,
$objectQueueSize number		 # In-memory 对列大小
$objectQueueHighWatermark number #触发写文件当前 In-memory 对列阀值 
$objectQueueLowWatermark  humber #触发停止写文件当前 In-memory 对列阀值 

配置示例:
# 使用老版语法必须在每个action前都定义一次配置


$ActionQueueType LinkedList
$ActionQueueFileName example_fwd1
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
*.*       @@example1.com


$ActionQueueType LinkedList
$ActionQueueFileName example_fwd2 
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
*.*       @@example2.com


新版语法
*.* action(type="omfwd"
      queue.type="linkedlist"
      queue.filename="example_fwd"
      action.resumeRetryCount="-1"
      queue.saveOnShutdown="on"
      queue.maxDiskSpace="5g"
      target="example.com" port="514" protocol="tcp"
     )


注:
1> rsyslog 官网的文档实在是太乱了,尤其是配置文件部分,每个版本都有改动,但是官网只有最新版本的参数介绍,好几次我按照文档的参数写配置文件,或者报错,或者参数不起作用, 如果使用 RHEL/CentOS,强烈建议查看RHEL官方手册中的 rsyslog 章节.
2> Disk-Assisted In-memory 在 omelasticsearch, omhdfs, omkafka, ommongodb, ommysql 这些模块使用中强烈建议使用;


参考:

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/System_Administrators_Guide/s1-working_with_queues_in_rsyslog.html#sec-Using_the_New_Syntax_for_rsyslog_queues
http://www.rsyslog.com/doc/master/rainerscript/queue_parameters.html
http://www.rsyslog.com/doc/v7-stable/concepts/queues.html

http://www.rsyslog.com/doc/master/configuration/modules/idx_output.html

syslog syslog-ng rsyslog flume scribe 各种尝试

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1555080次
    • 积分:19067
    • 等级:
    • 排名:第495名
    • 原创:236篇
    • 转载:157篇
    • 译文:3篇
    • 评论:423条
    文章分类
    最新评论