0、引言
之前介绍了Filebeat、Elasticsearch、Kibana、Kafka的基础配置,现在的工作主要是加入Logstash,把整一个框架整合起来,因为Logstash比较消耗资源,所以一般来说集群节点可以多用Filebeat,然后传给Kibana,然后再传给Logstash,然后通过Logstash再传给Elasticsearch,最后在Kibana上做展示。大致框架图如下所示:
1、Logstash安装、部署
安装地址:https://www.elastic.co/downloads/logstash
解压文件,然后进入bin目录,创建一个logstash.conf的配置文件,写入以下内容:
input {
kafka {
bootstrap_servers => ["ip:9092"] #写上自己的ip地址
topics => ["test"] #设置写入kafka的topic
decorate_events => true
codec => json #一定要加上这段,不然传输错误,${message}
}
}
# 定义输出
output {
elasticsearch {
hosts =&g