新款kubernetes日志收集利器fluent bit

Fluent Bit是一个开源和多平台的日志转发器 ，可以让您从不同来源收集数据/日志，统一并将其发送到多个目的地。它与Docker和Kubernetes环境完全兼容。

Fluent Bit用C编写，具有支持30个扩展的可插拔架构。它快速轻便，通过TLS提供网络操作所需的安全性。

最主要的是支持app分类，按容器id app等排序爽，而不是fluentd只有一个tag非常乱。

此config我已加入监控 cpu 内存 磁盘等

kubectl create 启动即可

cat fluent-bit-configmap.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluent-bit
#  namespace: logging
  labels:
    component: fluent-bit
data:
  fluent-bit.conf: |
    [SERVICE]
        Flush        1
        Daemon       Off
        Log_Level    info
        Parsers_File parsers.conf
        # HTTP_Monitor Off
        # HTTP_Port    2020
    [INPUT]
        Name          tail
        Path          /var/log/containers/*.log
        Parser        docker
        Tag           kube.*
        Mem_Buf_Limit 5MB
        # DB            /path/to/logs.db
    # [INPUT]
    #     Name   kmsg
    #     Tag    kernel
    [INPUT]
        Name          disk
        Tag           disk
        Interval_Sec  60
    [INPUT]
        Name cpu
        Tag  my_cpu
    [INPUT]
        Name   mem
        Tag    memory
    [FILTER]
        Name   kubernetes
        Match  kube.*
    [OUTPUT]
        Name  es
        Match *
        Host  ${FLUENT_ELASTICSEARCH_HOST}
        Port  ${FLUENT_ELASTICSEARCH_PORT}
        Logstash_Format On
        Logstash_Prefix fluent-bit
        Retry_Limit False
  parsers.conf: |
    [PARSER]
        Name   apache
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z


    [PARSER]
        Name   apache2
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z


    [PARSER]
        Name   apache_error
        Format regex
        Regex  ^\[[^ ]* (?<time>[^\]]*)\] \[(?<level>[^\]]*)\](?: \[pid (?<pid>[^\]]*)\])?( \[client (?<client>[^\]]*)\])? (?<message>.*)$


    [PARSER]
        Name   nginx
        Format regex
        Regex ^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z


    [PARSER]
        Name   json-test
        Format json
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z


    [PARSER]
        Name        docker
        Format      json
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S
        Time_Keep   On


    [PARSER]
        Name        syslog
        Format      regex
        Regex       ^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$
        Time_Key    time
        Time_Format %b %d %H:%M:%S

cat fluent-bit-daemonset.yaml

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluent-bit
  # namespace: kube-system
#  namespace: logging
  labels:
    k8s-app: fluent-bit-logging
    version: v1
    kubernetes.io/cluster-service: "true"
spec:
  template:
    metadata:
      labels:
        k8s-app: fluent-bit-logging
        version: v1
        kubernetes.io/cluster-service: "true"
    spec:
      containers:
      - name: fluent-bit
        image: 192.168.1.103/k8s_public/fluent-bit:0.11.2
        # image: fluent/fluent-bit-kubernetes-daemonset:latest
        env:
        - name:  FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch-logging"
        - name:  FLUENT_ELASTICSEARCH_PORT
          value: "9200"
        resources:
          limits:
            memory: 100Mi
          requests:
            cpu: 100m
            memory: 100Mi
        volumeMounts:
        - name: config
          mountPath: /fluent-bit/etc
        - name: host-var-log
          mountPath: /var/log
        - name: host-var-lib-docker-containers
          mountPath: /var/lib/docker/containers
          # readOnly: true
        - name: minikube-var-lib-docker-containers
          mountPath: /mnt/sda1/var/lib/docker/containers
      terminationGracePeriodSeconds: 10
      volumes:
      - name: config
        configMap:
          name: fluent-bit
      - name: host-var-log
        hostPath:
          path: /var/log
      - name: host-var-lib-docker-containers
        hostPath:
          path: /var/lib/docker/containers
      - name: minikube-var-lib-docker-containers
        hostPath:
          path: /mnt/sda1/var/lib/docker/containers

#注意namespace 我这里为default  ， 如果你是其它namespace 要和es空间一致，kibana上创建索引注意头部为fluent-bit-*