FileBeat+kafka进行日志实时传输

最新推荐文章于 2024-08-13 16:34:07 发布

Xlucas

最新推荐文章于 2024-08-13 16:34:07 发布

阅读量2.2w

点赞数 4

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/paicmis/article/details/78888750

版权

本文介绍了如何结合FileBeat和Kafka进行日志的实时传输。FileBeat作为日志接收和发送工具，配置简单，只需设置input和output。文中提到配置filebeat读取/opt/log/*.log路径的日志，输出到Kafka的单机模式主题test。启动filebeat和kafka消费者后，通过向日志文件追加内容，可以在消费者端查看到消息。日志消息包含@timestamp、beat、input_type、message、offset和source等字段。

摘要由CSDN通过智能技术生成

前面我们聊到了filebeat+ELK来解决日志的问题，今天我们来聊聊filebeat+kafka解决日志实时传输的问题，首先filebeat只是一个简单的日志接受工具和日志发送工具，我们可以用filebeat部署到logserver上面，在用kafka做消息管道将日志传输出去。今天我们主要讲讲安装
这里写图片描述
kafka和filebeat的配置我们就不讲解了
如果还是不会的同学可以参考之前的文章

1、配置
我们直接将filebeat的配置吧，其实配置很简单，你只需要配置input和output就可以了，我们这里kafka采用单机模式，
- input_type: log
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /opt/log/*.log

output.kafka:
enabled: true
hosts: [“192.168.18.160:9091”]
topic: test

2、启动 filebeat
filebeat -C filebeat_kafka.yml
3、启动kafka和comsumer
./kafka-console-consumer.