ELK多个日志文件创建多个项目索引

一、背景

我的elk架构是filebeat--redis--logstash--elasticsearch--kibana,我的想法是:我一台服务器多个程序有多个日志文件,在kibana里面想创建不通项目索引,指定不同日志文件

二、问题及解决思路

因为filebeat在6.0之后配置文件只能写一个output,因此多个日志文件都会传到redis的同一个库,同时key只能写一个。

但这样会有一个问题,在logstash配置里,input只有一个redis,type字段也就只能写一个,那在filter及output部分就无法通过type字段进行判断,继而无法写多个elasticsearch和里面的index字段,最终无法在kibana创建多个项目索引。

开始思路是尝试类似nginx的方式,写多个配置文件,未果,研究了一下filebeat的配置文件说明,也未果,想利用document_type字段,还未果(可能我配置问题)。后来突然发现网上关于一个关于tag字段的文章,就有了思路,就是不用纠结利用logstash里input的type字段。就是利用filebeat的tag字段,在logstash的output里面,写if [fields][tag] == "<tag变量值>",这种方式解决。下面直接上配置。

三、具体配置

1、filebeat配置

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - "/data/test1.log"
  tail_files: true
  fields:<

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值