filebeat、kafka、graylog日志采集架构,如何区分日志的来源地址

本文探讨了如何解决在使用filebeat收集日志并传输至kafka,再由graylog展示过程中,无法识别源client的问题。提出两种改进方案:一是为filebeat日志添加元数据标签,二是考虑在kafka层面进行主题操作。作者分享了实践中的挑战与学习过程。
摘要由CSDN通过智能技术生成

公司需要用日志收集系统对一系列日志作收集、分析等,目前架构搭建了起来同时发现了一个问题。

整个收集日志的流程是:filebeat在client端收集日志输出到kafka,graylog通过跟kafka建立传输通道实现日志的最终收集并在graylog上展示,分析。

有一个问题,graylog收取的是filebeat输出给kafka的日志,所以graylog并不能知道产生日志的是哪台部署了filebeat的client端。

当前有两个思路:

1.在filebeat对收集的日志作类似加字段、打标签的形式

2.在kafka上对各个filebeat输入进的日志增加对应主题的操作但这样会很麻烦管理起来不方便,或者对kafka的配置做修改也能对来源地址作打标签的效果

就是这样,我也是小白处于边学习边实践的状态。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值