filebeat 抓取数据无法上传到 kafka

最新推荐文章于 2023-11-03 10:19:02 发布

hjxisking

最新推荐文章于 2023-11-03 10:19:02 发布

阅读量1.8k

点赞数

分类专栏： ELK

本文链接：https://blog.csdn.net/hjxisking/article/details/113350052

版权

ELK 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

配置Filebeat从Nginx日志向Kafka发送数据时遇到问题，原因是Filebeat使用指定的broker IP无法连接到Kafka。问题在于Kafka的配置中使用了hostname而非IP，而Filebeat主机缺少对应hostname的解析。通过在/etc/hosts文件中添加broker的hostname解析，成功解决了Filebeat无法访问Kafka的问题。

摘要由CSDN通过智能技术生成

在配置filebeat抓取nginx日志到kafka的时候遇到个问题，无法将数据传输给kafka，虽然hosts指定了3个broker的ip，但是依然无效

最终通过尝试发现，虽然这边指定了broker的ip，但猜测还是会和zk通信并获取到其他broker的hostname（配置kafka的时候server.properties中listeners和advertised.listeners都是配置的hostname，且hostname是通过/etc/hosts绑定的，非真实域名可访问），而不是ip，所以filebeat所在的机器由于没有添加过hosts来解析，所以是无法访问kafka的

/etc/hosts 配置上对应的broker的hostname，问题解决

filebeat基本配置

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

# ------------------------------ Kafka output ----------------------------------
output.kafka:
  hosts: ["192.168.202.129:9092", "192.168.202.130:9092", "192.168.202.131:9092"]
  topic: "filebeat"
  codec.json:
    pretty: false

  # Optional protocol and basic auth credentials.
  # protocol: "https"
  # username: "elastic"
  # password: "changeme"