Filebeat日志采集使用方式

最新推荐文章于 2024-09-04 17:49:26 发布

一直奔跑的马

最新推荐文章于 2024-09-04 17:49:26 发布

阅读量751

点赞数

分类专栏： filebeat 文章标签：大数据

本文链接：https://blog.csdn.net/wangxingxingalulu/article/details/119758014

版权

filebeat 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了如何通过Filebeat将日志文件采集到Kafka，包括Filebeat的安装、输入配置（如日志路径、时间戳匹配、编码设置等）以及输出配置（如Kafka主机、主题设置、压缩类型等）。配置完成后，启动Filebeat即可实现日志的实时采集和传输。

摘要由CSDN通过智能技术生成

Filebeat日志采集使用方式

最近由于业务需求，需要通过filebeat采集日志文件到kafka中，供flink消费，其具体步骤如下：

安装filebeat

文件配置

filebeat-input.yml文件配置

- backoff: 1s
  backoff_factor: 2
  clean_inactive: 25h
  close_inactive: 2h
  encoding: plain
  fields: {NODE_IP: '日志所在节点', target_topic: 目标kafka topic}
  fields_under_root: true
  force_close_files: false
  harvester_buffer_size: 16384
  ignore_older: 24h
  max_backoff: 10s
  max_bytes: 10485760
  multiline: {match: after, negate: true, pattern: '^\d{4}\-\d{1,2}\-\d{1,2}\s\d{2}:\d{2}:\d{2}.\d{3}\s\001'}
  paths: [日志所在文件]
  scan_frequency: 1s
  tail_files: true
  type: log

filebeat.yml文件配置

queue:
  mem:
    events: 2048
    flush.min_events: 1024
# 日志文件采集配置
filebeat.config.inputs:
  enabled: true
  path: conf/filebeat-input.yml
  reload.enabled: true
  reload.period: 10s

# 输出到终端，供调试用
#output.console:
#  pretty: ${CONSOLE:false}

# 输出到kafka
output.kafka:
  enabled: true
  hosts: ["kafka所在节点"]
  topic: '%{[target_topic]}'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000