k8s与log--利用fluent bit收集k8s日志

最新推荐文章于 2024-08-26 09:43:11 发布

weixin_33787529

最新推荐文章于 2024-08-26 09:43:11 发布

阅读量2.8k

点赞数

文章标签：运维大数据 lua

原文链接：https://segmentfault.com/a/1190000017526041

版权

本文介绍了在Kubernetes环境下，选择Fluent Bit作为日志收集器的原因，强调其高性能和可扩展性。Fluent Bit支持多种输出和过滤功能，包括Lua脚本过滤器。在k8s日志收集部分，讨论了kubelet、etcd及应用日志的处理方式，并提出了使用DaemonSet部署的方案。总结中提到，在大规模日志处理时，可能需要引入Kafka，并关注日志速率和清理策略。

摘要由CSDN通过智能技术生成

前言

收集日志的组件多不胜数，有ELK久负盛名组合中的logstash, 也有EFK组合中的filebeat,更有cncf新贵fluentd,另外还有大数据领域使用比较多的flume。本次主要说另外一种，和fluentd一脉相承的fluent bit。

Fluent Bit是一个开源和多平台的Log Processor and Forwarder，它允许您从不同的来源收集数据/日志，统一并将它们发送到多个目的地。它与Docker和Kubernetes环境完全兼容。Fluent Bit用C语言编写，具有可插拔的架构，支持大约30个扩展。它快速轻便，通过TLS为网络运营提供所需的安全性。

之所以选择fluent bit，看重了它的高性能。下面是官方贴出的一张与fluentd对比图：

	Fluentd	Fluent Bit
Scope	Containers / Servers	Containers / Servers
Language	C & Ruby	C
Memory	~40MB	~450KB
Performance	High Performance	High Performance
Dependencies	Built as a Ruby Gem, it requires a certain number of gems.	Zero dependencies, unless some special plugin requires them.
Plugins	More than 650 plugins available	Around 35 plugins available
License	Apache License v2.0	Apache License v2.0

在已经拥有的插件满足需求和场景的前提下，fluent bit无疑是一个很好的选择。

fluent bit 简介

fluent bit

在使用的这段时间之后，总结以下几点优点：

支持routing,适合多output的场景。比如有些业务日志，或写入到es中，供查询。或写入到hdfs中，供大数据进行分析。
fliter支持lua。对于那些对c语言hold不住的团队，可以用lua写自己的filter。
output 除了官方已经支持的十几种，还支持用golang写output。例如：fluent-bit-kafka-output-plugin

k8s日志收集

k8s日志分析

主要讲kubeadm部署的k8s集群。日志主要有：

kubelet和etcd的日志，一般采用systemd部署，自然而然就是要支持systemd格式日志的采集。filebeat并不支持该类型。
kube-apiserver等组件stderr和stdout日志，这个一般输出的格式取决于docker的日志驱动，一般为json-file。
业务落盘的日志。支持tail文件的采集组件都满足。这点不在今天的讨论范围之内。

部署方案

fluent bit 采取DaemonSet部署。如下图：

部署架构

部署yaml

---

apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-logging
  namespace: kube-system
  labels:
    k8s-app: elasticsearch-logging
    kubernetes.io/clu