filebeat采集k8s日志 - 软链接（自定义docker目录使用此方法）

杜林晓

已于 2023-01-16 15:34:55 修改

阅读量1k

点赞数

文章标签： kubernetes docker kafka

于 2023-01-16 15:05:50 首次发布

本文链接：https://blog.csdn.net/qq_36843946/article/details/128704577

版权

本文介绍了如何安装filebeat 8.4.0，并通过配置软链接收集 Kubernetes 容器日志，将日志发送到 Kafka。详细步骤包括下载并解压filebeat，配置日志源为docker容器的日志软链接，以及设置Kafka的消息格式。

摘要由CSDN通过智能技术生成

文章目录

1、安装
2、配置
3、执行
4、kafka消息格式
5、集群日志目录

1、安装

1、下载filebeat

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.4.0-linux-x86_64.tar.gz

2、上传服务器，解压

tar -zxvf filebeat-8.4.0-linux-x86_64.tar.gz
cd filebeat-8.4.0-linux-x86_64

2、配置

日志源使用docker软链接方式

开启软链接 symlinks: true
软链接路径 paths: /var/log/containers/*.log

修改filebeat.yml

# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: container
  symlinks: true
  containers.ids:
  - "*"
  id: my-filestream-id

  enabled: true
  paths:
    - /var/log/containers/*.log
    #- /data/docker/containers/*/*-json.log