使用 Filebeat 监听本地日志文件并发送到 kafka 队列

前言

轻量型日志采集器：Filebeat 为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。

一、Filebeat 是什么？

如官网描述，Filebeat 是一款轻量型日志采集工具，我们这里用于将监听本地文件并转发至 kafka 集群。

优势：

1、性能稳健，不错过任何检测信号
在任何环境中，始终都会潜伏着应用程序中断的风险。Filebeat 能够读取并转发日志行，并在出现中断的情况下，还会在一切恢复正常后，从中断前停止的位置继续开始。
2、Filebeat 让简单的事情简单化
使用配置简单易操作

二、使用步骤

1.安装 Filebeat

2.编辑配置文件 filebeat.yml

配置 Input 输入源

# 基本配置
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

关于 Log 详细配置官网说明

配置 output 输出源

output.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]

  # message topic selection + partitioning
  topic: '%{[fields.log_topic]}'
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

关于 kafka 详细配置官网说明

更多配置参考博客文章

Windows 平台启动方式

# 在 Filebeat 目录下打开 cmd 窗口执行命令
 .\filebeat -e -c filebeat.yml 

总结

以上就是关于 Filebeat 的基本使用配置，使用起来还是比较简单的。