2、Logstash 篇之插件详解

最新推荐文章于 2024-05-16 05:11:44 发布

-无妄-

最新推荐文章于 2024-05-16 05:11:44 发布

阅读量1.9k

点赞数

分类专栏： Elastic学习笔记

本文链接：https://blog.csdn.net/bingdianone/article/details/86715916

版权

.input插件指定数据输入源,一个pipeline可以有多个input插件,我们主要讲解下面的几个input插件

·最简单的输入,从标准输入读取数据,通用配置为:

input{
   
stdin{
   
codec=>"plain"
tags=>["test"]
type=>"std"
add_field=>{
   "key"=>"value"}

}
}
output{
   
stdout{
   
codec=>"rubydebug"
}
}

在这里插入图片描述

·从文件读取数据,如常见的日志文件。文件读取通常要解决几个问题:

在这里插入图片描述

path类型为数组,指明读取的文件路径,基于glob匹配语法
path => ["/var/log/*/*log", “/var/log/message”]
exclue类型为数组排除不想监听的文件规则,基于glob匹配语法
exclude => “*.gz”
sincedb-path类型为字符串,记录sincedb文件路径
start-postion类型为字符串, beginning or end ,是否从头读取文件
stat interval类型为数值,单位秒,定时检查文件是否有更新,默认1秒
discover interval类型为数值,单位秒,定时检查是否有新文件待读取,默认15秒
ignore-older类型为数值,单位秒,扫描文件列表时,如果该文件上次更改时间 1 超过设定的时长,则不做处理,但依然会监控是否有新内容,默认关闭
close older类型为数值,单位秒,如果监听的文件在超过该设定时间内没有新内容,会被关闭文件句柄,释放资源,但依然会监控是否有新内容,默认3600秒,即1个小时

在这里插入图片描述

实际生产中不会从头读取

建议调试中设置sincedb_path；每次都会从头读取

在这里插入图片描述

Codec Plugin作用于input和output plugin ,负责将数据在原始与LogstashEvent之间转换,常见的codec有:

在这里插入图片描述

错误输入

正确输入

·当一个Event的message由多行组成时,需要使用该codec ,常见的情况是堆栈日志信息的处理,如下所示:
在这里插入图片描述
主要设置参数如下:

关注