Kubernetes - 实战：k8s之日志收集

在Kubernetes实战中，日志收集是一个关键的运维环节，旨在集中存储和分析集群中各个Pod产生的日志，以便进行故障排查、性能优化和审计追踪。以下是在Kubernetes集群中实现日志收集的一些常见方法和实战步骤：

1. 使用日志代理

   • DaemonSet部署日志代理：部署如Fluentd、Logstash、Filebeat等日志代理为DaemonSet，确保每个节点上都有一个实例运行，它们会从Pod的标准输出（stdout/stderr）或容器日志目录收集日志。

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: fluentd
   spec:
     selector:
       matchLabels:
         app: fluentd
     template:
       metadata:
         labels:
           app: fluentd
       spec:
         containers:
         - name: fluentd
           image: fluent/fluentd-kubernetes-daemonset:v1.12-debian-elasticsearch
           # ... 配置 Fluentd 输出到 Elasticsearch 或其他存储
   

2. 配置日志输出

   • 应用程序在编写时，应将日志输出到标准输出或错误输出（stdout/stderr），Kubernetes默认会捕获这些输出。

3. 对接日志存储

   • 日志代理通常会将收集到的日志转发到远程存储系统，如Elasticsearch、CloudWatch、Stackdriver、Loggly等，或者本地存储如 NFS、Ceph、MinIO等。

4. 使用Elasticsearch、Kibana和Fluentd (EFK)

   • Fluentd收集日志并转发至Elasticsearch进行存储和索引。
   • Kibana作为前端界面，提供日志搜索、分析和可视化功能。

5. Sidecar模式收集日志

   • 对于那些不直接输出到标准输出的应用，可以使用Sidecar模式部署一个专门用于收集日志的辅助容器，将日志文件或者其他形式的日志数据转储到标准输出或者直接发送给日志代理。

6. 配置日志留存策略

   • 根据法规要求和存储成本，配置日志的留存期限和清理策略。

7. 监控和报警

   • 结合Prometheus、Grafana等工具监控日志代理本身的运行状态，设置日志丢失或管道堵塞等情况的报警通知。

实战操作中，确保日志收集系统的高可用性、可扩展性和安全性至关重要，同时需要根据集群规模和业务需求调整日志收集和处理的速度、存储容量以及检索性能。