k8s&elk日志系统1

最新推荐文章于 2025-04-28 13:36:45 发布

原创

最新推荐文章于 2025-04-28 13:36:45 发布 · 301 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何在K8s环境中使用Filebeat进行日志收集。Filebeat以DaemonSet的方式部署，从每个节点的/var/log/目录下收集Pod日志。配置包括在Rancher中的映射设置、使用filebeat7.9.0镜像以及设定环境变量、健康检查和挂载配置。

k8s日志收集采用集中式，pod日志落在node节点的/var/log/目录下，filebeat以 DaemonSet方式部署集群内部，收集数据。

1.filebeat相关配置和部署方式
在rancher中配置映射: filebeat-filebeat-config
filebeat镜像地址:ogs59/ghub:filebeat7.9.0

filebeat.config:
modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
processors:
- add_cloud_metadata:
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*/*.log
- /var/log/messages
- /var/log/syslog
fields_under_root: true
fields:
log_topic: topic_systerm-logs
- type: log
enabled: true
paths:
- /var/lib/docker/nginxlogs/ingress/*.log
fields_under_root: true
fields:
index: "nginx-ingress-logs"
- type: docker
containers.ids:
- "*"
multiline.pattern: '^\[|^\{|^[0-9]{4}-[0-9]{2}-[0-9]{2}|^[0-9]{1,3}(\.[0-9]{1,3}){3}|^\w\d{1,4} [0-9]{2}:[0-9]{2}:[0-9]{2}.'
multiline.negate: true
multiline.match: after
multiline.max_lines: 200
multiline.timeout: 10s
fields_under_root: true
fields:
log_topic: topic_pods-logs
processors:
- add_kubernetes_metadata:
in_cluster: true