Kubernetes 日志查询分析实践

点击这里，查看采集标准输出的具体步骤以及剩余日志查询分析实践内容

简介：本文将介绍如何基于日志服务实现对 Kubernetes（以下简称 K8s）日志的采集以及查询分析，此外，还附带了对 Ingress、Audit 方案的简要介绍。为了方便大家通过操作来加深理解，本文提供了详细的操作步骤以及对应截图和配置代码。

准备工作

为了完成后续的相关操作，我们需要准备一个 K8s 集群，操作步骤如下：

1. 登陆容器服务控制台。
2. 创建一个标准托管集群（杭州区域），在向导中勾选上**【使用 EIP 暴露 API Server】和【使用日志服务】**。
3. 集群创建完毕后，回到集群列表页面，点击**【更多->通过 CloudShell 管理集群】**。
4. 在 CloudShell 中输入kubectl get ds -n kube-system，结果中显示的logtail-ds即为了实现数据采集所安装的日志服务组件。
5. 打开日志服务控制台，可以看到和 K8s 集群 ID 所对应的 project 也已经创建完毕。

操作截图如下：

图：创建托管集群（步骤 2）

图：打开 CloudShell（步骤 3）

图：在 CloudShell 中查看日志服务组件（步骤 4）

图：打开日志服务控制台，查看 project（步骤 5）

1. 数据采集

在 K8s 环境下，容器日志数据从大体上分为两类：容器标准输出和容器内文本文件，前者是容器特有的一种日志存在形式，后者和传统的文本文件日志类似，只是文件存放在各个容器内部，相互之间隔离。下面我们将介绍如何对这两种类型的日志进行采集。

1.1. Mock 数据

我们将使用如下两个 YAML 文件分别生成标准输出和容器内文件两种形式的 mock 数据。
容器标准输出

# 创建两个 pod 来生成 mock 数据
apiVersion: batch/v1
kind: Job
metadata:
  name: nginx-stdout-log-demo-1
  namespace: nginx-stdout
spec:
  template:
    metadata:
      name: nginx-stdout-log-demo-1
    spec:
      containers:
      - name: nginx-stdout-log-demo-1
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/mock_log"]
        args: ["--stderr=false", "--stdout=true", "--log-type=nginx", "--total-count=100000000", "--logs-per-sec=5"]
      restartPolicy: Never
---
apiVersion: batch/v1
kind: Job
metadata:
  name: nginx-stdout-log-demo-2
  namespace: nginx-stdout
spec:
  template:
    metadata:
      name: nginx-stdout-log-demo-2
    spec:
      containers:
      - name: nginx-stdout-log-demo-2
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/mock_log"]
        args: ["--stderr=false", "--stdout=true", "--log-type=nginx", "--total-count=100000000", "--logs-per-sec=5"]
      restartPolicy: Never

容器内文本文件（/var/log/access.log）

apiVersion: batch/v1
kind: Job
metadata:
  name: nginx-file-log-demo
  namespace: nginx-file
spec:
  template:
    metadata:
      name: nginx-file-log-demo
    spec:
      restartPolicy: Never
      containers:
      - name: nginx-file-log-demo
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/mock_log"]
        args: ["--log-type=nginx", "--stdout=false", "--stderr=false", "--path=/var/log/access.log", "--total-count=100000000", "--logs-per-sec=5"]

操作步骤：

1. 打开 CloudShell，参考准备工作中的步骤 3。

2. 在集群中应用上面提及的两个 YAML（Github）。

3. 执行 kubectl get pods 查看负责生成日志的几个 Pod。

4. 查看两个 Pod 生成日志的情况（根据实际情况替换命令中的 pod 名）

   • 标准输出：执行kubectl logs -n nginx-stdout --tail=10 nginx-stdout-log-demo-1-7kvwx。
   • 容器内文件：执行kubectl exec -n nginx-file nginx-file-log-demo-7frsp -- bash -c "tail /var/log/access.log"。

$ kubectl create namespace nginx-stdout
$ kubectl create -f https://raw.githubusercontent.com/goclis/kubernetes-mock-log/master/pod_nginx_stdout.yaml
$ kubectl create namespace nginx-file
$ kubectl create -f https://raw.githubusercontent.com/goclis/kubernetes-mock-log/master/pod_nginx_file.yaml

命令：生成 mock 数据（步骤 2）

$ kubectl get pods -A
NAMESPACE      NAME                                               READY   STATUS    RESTARTS   AGE
nginx-file     nginx-file-log-demo-7frsp                          1/1     Running   0          2m9s
nginx-stdout   nginx-stdout-log-demo-1-7kvwx                      1/1     Running   0          2m12s
nginx-stdout   nginx-stdout-log-demo-2-4x7vw                      1/1     Running   0          2m12s

命令：查看日志服务组件（步骤 3）

1.2. 采集标准输出

关键字：kubernetes 实践教学 日志查询