Logstash之input插件监控日志文件

Logstash介绍

logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景

Input插件监控日志

1：stdin标准输入和stdout标准输出

首先执行命令：

bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'

程序启动之后输入：hello logstash

Logstash含有两个非常重要的插件，input与output; 我们上面输入输出hello logstash的时候就是基于这两个插件完成logstash也是用这两个来进行过滤和分析；

一个基础的输入输出插件：

bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

2：监控日志文件变化
Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心 logstash 会漏过你的数据（数据量并不是特别大的前提下）

创建conf文件：monitor_file.conf

input {
    file {
        path => "/usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt"
        type => "test"
        start_position => "beginning" 
    }
}
output{
   stdout{}
}

启动之后，logstash就会监控 /usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt文件，如果发现文件中有内容，则以标准输出的形式输出到控制台；

测试：

echo "hello logstash" >> /usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt

会观察到控制台中输出：
2019-04-18T07:22:33.778Z hadoop01 hello logstash

配置参数说明：
Path=>表示监控的文件路径
Type=>给类型打标记，用来区分不同的文件类型。
Start_postion=>从哪里开始记录文件，默认是从结尾开始标记，要是你从头导入一个文件就把改成”beginning”.
discover_interval=>多久去监听path下是否有文件，默认是15s
exclude=>排除什么文件
close_older=>监听文件，如果操作这个事件就关闭文件句柄，默认是3600s。
sincedb_path=>监控库存放位置。默认在：/data/plugins/inputs/file。
sincedb_write_interval=> logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。
stat_interval=>logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。