Logstash介绍
logstash就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景
Input插件监控日志
1:stdin标准输入和stdout标准输出
首先执行命令:
bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'
程序启动之后输入:hello logstash
Logstash含有两个非常重要的插件,input与output; 我们上面输入输出hello logstash的时候就是基于这两个插件完成logstash也是用这两个来进行过滤和分析;
一个基础的输入输出插件:
bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
2:监控日志文件变化
Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据(数据量并不是特别大的前提下)
创建conf文件:monitor_file.conf
input {
file {
path => "/usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt"
type => "test"
start_position => "beginning"
}
}
output{
stdout{}
}
启动之后,logstash就会监控 /usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt文件,如果发现文件中有内容,则以标准输出的形式输出到控制台;
测试:
echo "hello logstash" >> /usr/local/elk/logstash-5.5.2/logs/monitor_log/logs.txt
会观察到控制台中输出:
2019-04-18T07:22:33.778Z hadoop01 hello logstash
配置参数说明:
Path=>表示监控的文件路径
Type=>给类型打标记,用来区分不同的文件类型。
Start_postion=>从哪里开始记录文件,默认是从结尾开始标记,要是你从头导入一个文件就把改成”beginning”.
discover_interval=>多久去监听path下是否有文件,默认是15s
exclude=>排除什么文件
close_older=>监听文件,如果操作这个事件就关闭文件句柄,默认是3600s。
sincedb_path=>监控库存放位置。默认在:/data/plugins/inputs/file。
sincedb_write_interval=> logstash 每隔多久写一次 sincedb 文件,默认是 15 秒。
stat_interval=>logstash 每隔多久检查一次被监听文件状态(是否有更新),默认是 1 秒。