Logstash file插件

最新推荐文章于 2023-11-07 14:11:00 发布

Blue summer

最新推荐文章于 2023-11-07 14:11:00 发布

阅读量444

点赞数

分类专栏： ELK 文章标签： logstash file

本文链接：https://blog.csdn.net/u010039418/article/details/105719167

版权

5 篇文章 1 订阅

订阅专栏

注：本文基于file plugin v4.1.16版本

file插件主要用于从文件读取数据，比如我们收集系统上/var/log/目录下一些文件，我们可以用以下配置

input {
    file {
        path => ["/var/log/*.log", "/var/log/message"]
        type => "system"
        start_position => "beginning"
    }
}

其中，

path
定义文件绝对路径，是个数组类型，可以定义多个输入文件，同时也可以使用通配符*。有一点需要注意的是，如果想要囊括/var/log下所有文件，包括子目录下的日志文件，可以通过以下方式，/var/log/**/*.log。通过两个通配符可以递归匹配所有目录下文件。
type
为该input所处理的所有事件添加type字段，主要用于激活过滤器。因为也是事件本身一部分，因此kibana中也可以搜索该字段。
start_position
指定logstash读取文件数据的起始位置，默认是结束位置，也就是以类似 tail -f 方式运行。如果要导入原有数据，需设置成 “beginning”。

除此之外，还有一些常用选项，

exclude
和path用法一致，用于排除某些不想被监听的文件，一样支持*通配符。
discover_interval
指定logstash检查被监听的path下是否有新文件的时间间隔，默认是15秒。
stat_interval
指定logstash检查被监听文件是否有更新的时间间隔，默认是1秒。
sincedb_path
Logstash使用FileWatch的Ruby Gem库来监听文件变化，这个库将被监听的日志文件的当前读取位置记录到.sincedb数据库文件中。默认位置/var/lib/logstash/plugins/inputs/file，可通过该配置修改sincedb文件存放位置。
sincedb_write_interval
指定logstash写sincedb文件的间隔，默认15秒。
close_older
监听文件超过该时间仍无更新，则关闭该文件句柄，默认1小时。

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

关注