ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引

最新推荐文章于 2022-05-12 09:55:29 发布

dengxiangbao3167

最新推荐文章于 2022-05-12 09:55:29 发布

阅读量2.1k

点赞数

文章标签：大数据 ruby json

原文链接：http://www.cnblogs.com/JetpropelledSnake/p/10873582.html

版权

本文详细记录了如何配置filebeat从Kafka的多个topic消费数据，通过logstash集群进行处理，并在Elasticsearch中分别生成索引的过程，包括filebeat的topic配置、logstash集群的设置以及Elasticsearch中索引的检查。

摘要由CSDN通过智能技术生成

0x00 filebeat配置多个topic

filebeat.prospectors:

- input_type: log
  encoding: GB2312
#  fields_under_root: true
  fields:  ##添加字段
    serverip: 192.168.1.10
    logtopic: wap
  enabled: True
  paths:
        - /app/wap/logs/catalina.out
  multiline.pattern: '^\['  #java报错过滤
  multiline.negate:  true
  multiline.match: after
  tail_files: false
- input_type: log
  encoding: GB2312
 # fields_under_root: true
  fields:  ##添加字段
    serverip: 192.168.1.10
    logtopic: api
  enabled: True
  paths:
        - /app/api/logs/catalina.out
  multiline.pattern: