logtash + filebeat 采集多日志的区分使用

本文介绍了如何使用filebeat配置文件添加tags字段来标记不同日志,并结合logstash根据tags内容将日志发送到Elasticsearch的不同索引,实现日志的分类管理。通过设置tail_files为true,确保filebeat从日志文件尾部开始读取,避免大数据量问题。在logstash配置中,根据tags内容指定index名称,便于区分项目的日志。
摘要由CSDN通过智能技术生成

在filebeat配置文件中加入以下内容,然后重启filebeat

vim filebeat.yml

#由于需要收集多个日志文件以便在Elasticsearch中生成索引,因此我们需要给不同的日志文件先打一个标记,以便在logstash中使用

  tags: ["zgzg"]

  #开启该配置,表示从日志文件的尾部开始获取日志,不必完全加载所有日志,以防数据太大

  tail_files: true

如图

同时,修改logstash的配置文件,并重启logstash

vim logstash.conf

添加以下内容

if "zgzg" in [tags] {     

      elasticsearch {

        hosts => [&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值