使用Log-Pilot + logstash+Elasticsearch + Kibana 收集 kubernetes 日志

最新推荐文章于 2024-09-22 16:29:00 发布

GeekXuShuo

最新推荐文章于 2024-09-22 16:29:00 发布

阅读量5.4k

点赞数

分类专栏： prometheus log-pilot

本文链接：https://blog.csdn.net/qq_25934401/article/details/93473018

版权

prometheus 同时被 2 个专栏收录

26 篇文章 16 订阅

订阅专栏

log-pilot

1 篇文章 0 订阅

订阅专栏

开发者在面对 Kubernetes 分布式集群下的日志需求时，常常会感到头疼，既有容器自身特性的原因，也有现有日志采集工具的桎梏，主要包括：

容器本身特性：

采集目标多：容器本身的特性导致采集目标多，需要采集容器内日志、容器 stdout。对于容器内部的文件日志采集，现在并没有一个很好的工具能够去动态发现采集。针对每种数据源都有对应的采集软件，但缺乏一站式的工具。

弹性伸缩难*：Kubernetes 是分布式的集群，服务、环境的弹性伸缩对于日志采集带来了很大的困难，无法像传统虚拟机环境下那样，事先配置好日志的采集路径等信息，采集的动态性以及数据完整性是非常大的挑战。

现有日志工具的一些缺陷

缺乏动态配置的能力。目前的采集工具都需要事先手动配置好日志采集方式和路径等信息，因为它无法能够自动感知到容器的生命周期变化或者动态漂移，所以它无法动态地去配置。

日志采集重复或丢失的问题。因为现在的一些采集工具基本上是通过 tail 的方式来进行日志采集的，那么这里就可能存在两个方面的问题：一个是可能导致日志丢失，比如采集工具在重启的过程中，而应用依然在写日志，那么就有可能导致这个窗口期的日志丢失；而对于这种情况一般保守的做法就是，默认往前多采集 1M 日志或 2M 的日志，那么这就又会可能引起日志采集重复的问题。

未明确标记日志源。因为一个应用可能有很多个容器，输出的应用日志也是一样的，那么当我们将所有应用日志收集到统一日志存储后端时，在搜索日志的时候，我们就无法明确这条日志具体是哪一个节点上的哪一个应用容器产生的。
本文档将介绍一种 Docker 日志收集工具 Log-Pilot，结合 Elasticsearch 和 Kibana、logstash 等工具，形成一套适用于 Kubernetes 环境下的一站式日志解决方案。

Log-Pilot 介绍

log-Pilot 是一个智能容器日志采集工具，它不仅能够高效便捷地将容器日志采集输出到多种存储日志后端，同时还能够动态地发现和采集容器内部的日志文件。

针对前面提出的日志采集难题，Log-Pilot 通过声明式配置实现强大的容器事件管理，可同时获取容器标准输出和内部文件日志，解决了动态伸缩问题，此外，Log-Pilot 具有自动发现机制，CheckPoint 及句柄保持的机制，自动日志数据打标，有效应对动态配置、日志重复和丢失以及日志源标记等问题。

目前 log-pilot 在 Github 完全开源，项目地址是 https://github.com/AliyunContainerService/log-pilot 。您可以深入了解更多实现原理。

针对容器日志的声明式配置

Log-Pilot 支持容器事件管理，它能够动态地监听容器的事件变化，然后依据容器的标签来进行解析，生成日志采集配置文件，然后交由采集插件来进行日志采集。

在 Kubernetes 下，Log-Pilot 可以依据环境变量 aliyun_logs_$name = $path 动态地生成日志采集配置文件，其中包含两个变量：

$name 是我们自定义的一个字符串，它在不同的场景下指代不同的含义，在本场景中，将日志采集到 ElasticSearch 的时候，这个 $name 表示的是 Index。
另一个是 $KaTeX parse error: Expected group after '_' at position 420: \dots，通过 aliyun_logs_̲$ name_format= 标签就可以告诉 Log-Pilot 在采集日志的时候，同时以什么样的格式来解析日志记录，支持的格式包括：none、json、csv、nginx、apache2 和 regxp。

Log-Pilot 同时支持自定义 tag，我们可以在环境变量里配置 aliyun_logs_$name_tags=“K1=V1,K2=V2”，那么在采集日志的时候也会将 K1=V1 和 K2=V2 采集到容器的日志输出中。自定义 tag 可帮助您给日志产生的环境打上 tag，方便进行日志统计、日志路由和日志过滤。

实战部分

架构：log-polit --> logstash --> es --> kibana

准备工作

1.k8s 集群搭建。（略）
2.logstash 环境搭建。（略）
3.es集群（略）
4.kibana 展示端（略）
已上准备工作不是本篇文章的重点，不做论述。

log-pilot 以pod 的形式部署在k8s上

cat log-pilot-DaemonSet.yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: log-pilot
  labels:
    app: log-pilot
  # 设置期望部署的namespace
  namespace: kube-system
spec:
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: log-pilot
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ''
    spec:
      # 是否允许部署到Master节点上
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: log-pilot
        # 版本请参考https://github.com/AliyunContainerService/log-pilot/releases
        image: registry.cn-hangzhou.aliyuncs.com/acs/log-pilot:0.9.6-filebeat
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 200m
            memory: 200Mi
        env:
          - name: "NODE_NAME"
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: "LOGGING_OUTPUT"
            value: "logstash"
          # 请确保集群到ES网络可达
          - name: "LOGSTASH_HOST"
            value: "192.168.6.48"
          - name: "LOGSTASH_PORT"
            value: "5044"
          - name: "LOGSTASH_LOADBALANCE"
            value: "true"
        volumeMounts:
        - name: sock
          mountPath: /var/run/docker.sock
        - name: root
          mountPath: /host
          readOnly: true
        - name: varlib
          mountPath: /var/lib/filebeat
        - name: varlog
          mountPath: /var/log/filebeat
        - name: localtime
          mountPath: /etc/localtime
          readOnly: true
        livenessProbe:
          failureThreshold: 3
          exec:
            command:
            - /pilot/healthz
          initialDelaySeconds: 10
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 2
        securityContext:
          capabilities:
            add:
            - SYS_ADMIN
      terminationGracePeriodSeconds: 30
      volumes:
      - name: sock
        hostPath:
          path: /var/run/docker.sock
      - name: root
        hostPath:
          path: /
      - name: varlib
        hostPath:
          path: /var/lib/filebeat
          type: DirectoryOrCreate
      - name: varlog
        hostPath:
          path: /var/log/filebeat
          type: DirectoryOrCreate
      - name: localtime
        hostPath:
          path: /etc/localtime

其中
LOGGING_OUTPUT 是使用logstash接收log-pilot接收到的日志
LOGSTASH_HOST logstash服务的ip地址
LOGSTASH_PORT logstash服务的端口
LOGSTASH_LOADBALANCE 是否为logstash开启负载均衡模式

$ kubectl  create   -f log-pilot-DaemonSet.yaml 
$ kubectl  get pod --namespace=kube-system  |grep log-pilot
log-pilot-9kkvs                          1/1       Running   0          56m
log-pilot-nspdv                          1/1       Running   0          56m
log-pilot-sszk7                          1/1       Running   0          56m

进到容器里面可以看到的进程

$  kubectl exec  -it log-pilot-nspdv  sh -n kube-system 
/pilot # ps -ef
PID   USER     TIME   COMMAND
    1 root       0:03 /pilot/pilot -template /pilot/filebeat.tpl -base /host -log-level debug
   19 root       0:50 /usr/bin/filebeat -c /etc/filebeat/filebeat.yml
 3535 root       0:00 sh
 3551 root       0:00 ps -ef
## 自动生成的filebeat yaml文件
/pilot # cat /etc/filebeat/filebeat.yml
path.config: /etc/filebeat
path.logs: /var/log/filebeat
path.data: /var/lib/filebeat/data
filebeat.registry_file: /var/lib/filebeat/registry
filebeat.shutdown_timeout: 0
logging.level: info
logging.metrics.enabled: false
logging.files.rotateeverybytes: 104857600
logging.files.keepfiles: 10
logging.files.permissions: 0600

setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
filebeat.config:
    prospectors:
        enabled: true
        path: ${path.config}/prospectors.d/*.yml
        reload.enabled: true
        reload.period: 10s

output.logstash:
    hosts: ["192.168.6.48:5044"]
    index: filebeat-%{+yyyy.MM.dd}
    
    loadbalance: true

收集日志端准备好了，开始收集业务日志了。

收集业务日志

应用是用springboot 写的这里启动一个java应用。yaml文件如下：

$ cat deploy.yaml 
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: prexx-xx-account-web-profile-a
spec:
  replicas: 1
  template:
    metadata:
      labels: 
        app: prexx-xx-account-web-profile-a
        profile: profile-a
    spec:
      volumes:
      - name: "cephfs-fuse"
        hostPath:
          path: "/data/WEBLOG"
      - name: "preproductnfs"
        hostPath:
          path: "/home/nfs"
      containers:
      - name: prexx-xx-account-web-profile-a
        image: harbor.reg/pre_xx/prexx-xx-account-web:32
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: cephfs-fuse
          mountPath: /data/WEBLOG
        - name: preproductnfs
          mountPath: /home/nfs
        resources:
          limits:
            memory: 2000Mi
          requests:
            memory: 1500Mi
        ports:
        - containerPort: 8080
        env:
        - name: app_name
          value: prexx-xx-account-web 
        - name: aliyun_logs_catalina
          value: "stdout"
        - name: aliyun_logs_catalina_tags
          value: "logtype=prexx-xx-account-web,env=prexx"
        - name: aliyun_logs_logstash-htjf
          value: "/data/WEBLOG/prexx-xx-account-web/*/*.log"
        - name: aliyun_logs_logstash-htjf_tags
          value: "logtype=prexx-xx-account-web,env=prexx"
        livenessProbe:
          failureThreshold: 3
          exec:
            command:
            - /healthz
          initialDelaySeconds: 10
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 2

其中
aliyun_logs_logstash-htjf 指向收集日志的路径
aliyun_logs_logstash-htjf_tags 为收集的日志添加tag

启动应用

$ kunerctl create -f deploy.yaml 

$ kubectl  get pod prexx-xx-account-web-profile-a-5bf9c8947f-gbhpg 
NAME                                                        READY     STATUS    RESTARTS   AGE
prexx-xx-account-web-profile-a-5bf9c8947f-gbhpg   1/1       Running   0          1m

配置logstash 文件

根据日志打印格式（和开发要求日志的打印格式尽量一致，方便收集）定义日志过滤模版。
debugger 地址：https://grokdebug.herokuapp.com/ 需要梯子

在这里插入图片描述
日志过滤匹配的模版为

	%{TIMESTAMP_ISO8601:timestamp}\s+\[%{THREADID_1:threadId}\]\s+%{LOGLEVEL:level}\s+%{JAVACLASS:JAVACLASS}\s+\-\s+%{JAVAMESSAGE:javameassage}

创建logstash文件接收log-pilot 传过来的日志

cat xx_spring_boot.conf
input {
    beats { 
        port => "5044"
        codec=> multiline {
        pattern => "^%{YEAR}.*"
        negate  => true
        what    => "previous"
        }
    }
}

filter {
   grok  {
        patterns_dir => [ "/etc/logstash/patterns.d" ]
        match => [ "message", "%{TIMESTAMP_ISO8601:timestamp}\s+\[%{THREADID:threadId}\]\s+\[%{THREADNAME:traceId}\]\s+%{LOGLEVEL:level}\s+%{JAVACLASS:javaclass}\s+\-\s+%{JAVAMESSAGE:javameassage}","message", "%{TIMESTAMP_ISO8601:timestamp}\s+\[%{THREADID_1:threadId}\]\s+%{LOGLEVEL:level}\s+%{JAVACLASS:javaclass}\s+\-\s+%{JAVAMESSAGE:javameassage}"]
        remove_field => [ "message","beat","timestamp","topic","hostname","name"]
   }
   date {
        match => ["time", "dd/MMM/yyyy:HH:mm:ss Z"]
        locale => "cn"
    }
}

output {
        elasticsearch {
          hosts => ["192.168.6.17:9200","192.168.6.18:9200","192.168.6.19:9200"]
          index => "logstash-htjf-filebeat-%{+YYYY-MM}"
          user => elastic
          password => xx
        }
       stdout { codec => rubydebug }
}

启动logstash

/usr/share/logstash/bin/logstash  -f /etc/logstash/conf.d/xx_spring_boot.conf --path.data=/var/log/xx_spring_boot.log & > /dev/null

通过kibana 展示收集的日志

在这里插入图片描述
通过全局环境变量传进来的tag 也展示出来了。

在这里插入图片描述

GeekXuShuo

关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
11
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录