公司需要用日志收集系统对一系列日志作收集、分析等,目前架构搭建了起来同时发现了一个问题。
整个收集日志的流程是:filebeat在client端收集日志输出到kafka,graylog通过跟kafka建立传输通道实现日志的最终收集并在graylog上展示,分析。
有一个问题,graylog收取的是filebeat输出给kafka的日志,所以graylog并不能知道产生日志的是哪台部署了filebeat的client端。
当前有两个思路:
1.在filebeat对收集的日志作类似加字段、打标签的形式
2.在kafka上对各个filebeat输入进的日志增加对应主题的操作但这样会很麻烦管理起来不方便,或者对kafka的配置做修改也能对来源地址作打标签的效果
就是这样,我也是小白处于边学习边实践的状态。