filebeat输出结果到elasticsearch的多个索引

filebeat输出结果到elasticsearch的多个索引
基本环境:
filebeat版本:6.5.4 (Linux,x86-64)
elasticsearch版本:6.54

(一)需求说明
在一台服务器上有多个日志需要使用filebeat日志收集到elasticsearch中,以便于查看。对于收集方法,主要有2种:

将同一台服务器上的日志收集到elasticsearch的同一个索引中,这种方式存在一个较大的问题,如果服务器上有多个业务在运行,产生了多个日志,那么将会被收集到elasticsearch的同一个索引中,如图1。
将同一台服务器上的日志收集到elasticsearch的不同索引中,每个索引都存放相关业务的日志,如图2。

很明显,图2的日志输出是我们想要的,因为它将不同的日志放到了不同的索引中。

(二)解决方案
在使用filbeat收集日志输出到elasticsearch数据库时,可以使用indices参数来配置不同的日志输出到不同的索引中,官方文档及其配置例子如下:

(三)实际测试
(3.1)输入存在fields_under_root: true选项
使用filebeat对3个日志testa.log、testb.log、testc.log进行数据抓取,要求:

testa.log日志的数据存放到testa-log索引中
testb.log日志的数据存放到testb-log索引中
其它(非testa.log和testb.log)的日志数据存放到test-other-log索引中

filebeat输入配置如下:

输出配置如下:

最终测试成功。

这里附一份完整的filebeat配置文件:
View Code

(3.2)输入不存在fields_under_root: true选项
filebeat输入配置如下:

输出配置如下:

这里附一份完整的filebeat配置文件:
View Code

其它说明:为什么需要特别注意fields_under_root参数
fields_under_root参数定义如下:

如果值为ture,那么fields存储在输出文档的顶级位置,如果与filebeat中字段冲突,自定义字段会覆盖其他字段
如果值为false或者未设置,那么fields存储在输出文档的子位置。

如下:
(1)fields_under_root:true
此时在filebeat的input部分定义的字段log_topics是一个顶级字段。

(2)fields_under_root:false或者未设置
此时在filebeat的input部分定义的字段log_topics是fields字段的子字段。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值