Logstash介绍:
概述
Logstash 是 Elastic Stack 的中央数据流引擎,用于收集、丰富和统一所有数据,而不管格式或模式。当与Elasticsearch,Kibana,及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。在这段视频中,Elastic 技术布道师曾勇将会对如何开始 Logstash 进行了概述和演示。
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。Logstash主要由三部分组成:
- input:从一个或多个数据源获取数据,常用插件如file、syslog、redis、beats等。
- filter:用来数据过滤、格式转换等,常见插件如grok、mute、drop、geoip等
- output:数据输出,常用插件如elastcisearch、file、statsd等
Logstash下载:
提示:因为是使用Ruby写的,所以需要先安装JAVA JDK,这里不细说怎么安装JDK
建议kibana、es、logstash的版本一致否则会出现兼容性问题
Logstash安装:
解压压缩包即可非常简单
$ tar -zxvf logstash-7.10.2-darwin-x86_64.tar.gz
vim logstash-sample.conf
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input {
beats {
port => 5044
}
}
output {
elast