FileBeat+kafka进行日志实时传输

本文介绍了如何结合FileBeat和Kafka进行日志的实时传输。FileBeat作为日志接收和发送工具,配置简单,只需设置input和output。文中提到配置filebeat读取/opt/log/*.log路径的日志,输出到Kafka的单机模式主题test。启动filebeat和kafka消费者后,通过向日志文件追加内容,可以在消费者端查看到消息。日志消息包含@timestamp、beat、input_type、message、offset和source等字段。
摘要由CSDN通过智能技术生成

前面我们聊到了filebeat+ELK来解决日志的问题,今天我们来聊聊filebeat+kafka解决日志实时传输的问题,首先filebeat只是一个简单的日志接受工具和日志发送工具,我们可以用filebeat部署到logserver上面,在用kafka做消息管道将日志传输出去。今天我们主要讲讲安装
这里写图片描述
kafka和filebeat的配置我们就不讲解了
如果还是不会的同学可以参考之前的文章

1、配置
我们直接将filebeat的配置吧,其实配置很简单,你只需要配置input和output就可以了,我们这里kafka采用单机模式,
- input_type: log
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /opt/log/*.log

output.kafka:
enabled: true
hosts: [“192.168.18.160:9091”]
topic: test

2、启动 filebeat
filebeat -C filebeat_kafka.yml
3、启动kafka和comsumer
./kafka-console-consumer.

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值