prometheus监控k8s集群

1、Prometheus客户端各菜单栏使用用法

Prometheus提供了一个Web UI，在UI中有许多有用的菜单项，帮助用户可以更好的掌握指标数据，这些菜单项中最为常用的是Alerts、Graph、Status选项，下面就详细阐述一下这几个菜单栏和Status菜单栏下的一些子菜单。

Alerts菜单栏

Alerts菜单栏用于查看当前启用的警报规则及其状态。如果Prometheus在警报模式下运行，那么该菜单栏将包含当前触发的警报以及其状态，例如，当前是否被解除、最近一次解除时间是什么等。
用户可以在此菜单下查看所有警报的详细信息，包括警报名称、触发规则、严重性级别等等。用户还可以通过单击右侧的图标以查看特定警报，包括警报状态、最新警报时间和相关指标等信息。

Graph菜单栏

Graph菜单栏用于绘制时间序列数据的图表。它允许用户执行各种操作，以查看并分析收集到的指标数据。用户可以选择特定的指标进行图表绘制，也可以进行筛选和子采样，以更好地了解数据趋势。
Graph菜单提供了多个选项，可以配置高亮显示的周期、时间区域、数据聚合等以图表的形式更清晰地呈现所需的数据。

Status菜单栏

Status菜单栏用于显示系统的运行状态以及其他相关信息，包括PromQL执行器的阻塞警告、存储层的状态和配置、目标的状态、警报管理器等。
在Status菜单下有多个子菜单：
3.1 Runtime & Build Information
Runtime & Build Information菜单用于显示当前Prometheus实例的版本、构建时间戳、Go程序版本以及运行时资源消耗情况等信息。它还提供了各种有用的性能指标，例如运行时内存使用情况、打开的文件描述符数量等。这些指标可用于确定Prometheus的运行状态并帮助诊断故障。
3.2 Command-Line Flags
Command-Line Flags菜单用于显示启动Prometheus实例时传递给命令行的标志和参数列表。
3.3 Configuration
Configuration菜单用于显示Prometheus实例的配置文件，包括监听地址、抓取目标列表等配置项。用户可以在此处查看Prometheus配置文件的具体内容，也可以编辑和保存配置文件。
3.4 Rules
Rules菜单用于管理Prometheus实例中的警报规则。在这里，用户可以查看当前启用的规则以及规则的状态，添加、编辑和删除规则，并测试规则以确保其有效性。
3.5 Targets
Targets菜单用于查看Prometheus实例所监控的抓取目标状态。在这里，用户可以查看目标的标签列表、最近访问时间、最近抓取时间等信息，并可以测试目标以确保其有效性。
3.6 Service discovery
Service discovery菜单用于管理Prometheus实例的服务发现配置。在这里，用户可以配置Prometheus实例使用哪种服务发现机制来自动发现和管理抓取目标。Prometheus支持多种服务发现机制，包括Consul、Kubernetes、Zookeeper等。
综上所述，Prometheus Web UI提供了非常方便的操作界面，各个菜单项的使用也非常简单直观。管理员可以通过它更好地了解Prometheus运行状态，同时也可以根据实际需要对指标数据进行分析和管理。

2、Kubernetes 集群中运行一组 Prometheus 组件的运行状态信息解析

[root@node02 ~]# kubectl -n bm-system get pods |grep prometheus
prometheus-alertmanager-6458485dfd-2mlbz         2/2     Running   0          30d
prometheus-kube-state-metrics-69c5cb5fc5-v467d   1/1     Running   0          30d
prometheus-node-exporter-f2zsg                   1/1     Running   8          336d
prometheus-node-exporter-r6kpq                   1/1     Running   10         336d
prometheus-node-exporter-v4vxc                   1/1     Running   10         336d
prometheus-server-844dffcfb4-h6wsr               2/2     Running   3          30d

 这是 Kubernetes 集群中运行的一组 Prometheus 组件的运行状态信息，它展示了实例名称、期望副本数、运行的副本数、最近的重启时间以及已经运行时间。
具体解释如下：

prometheus-alertmanager-59cd968668-wh77n: Alertmanager 组件的实例名称。
2/2: 期望的副本数和运行的副本数，都为2，表示已经部署了2个副本并且都处于运行状态。
Running: 容器状态，表示该组件正在运行中。
4 (4d19h ago): 重启计数器和最近一次重启时间，这里表示该组件已经重启了4次，最近一次重启是在4天19个小时前。
54d: 该组件运行的总时间，这里表示已经运行了54天。

同样的解释适用于其他的 Prometheus 组件：

prometheus-kube-state-metrics-786777876f-rdprh: kube-state-metrics 组件的实例名称。
prometheus-node-exporter-csmkt: node-exporter 组件的实例名称。
prometheus-server-7799b846dd-9n6kq: Prometheus Server 组件的实例名称。

总体来说，这些信息可以让管理员更好地了解 Prometheus 组件运行状态，帮助他们快速发现问题并采取必要的措施来解决它们。

上述的六个 Pod 都是 Prometheus 监控系统的组件，每个 Pod 的作用如下：

prometheus-alertmanager-59cd968668-wh77n: 这个 Pod 中运行了 Alertmanager 组件，用于处理和发送告警通知。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-alertmanager-59cd968668-wh77n sh

prometheus-kube-state-metrics-786777876f-rdprh: 该 Pod 中运行了 kube-state-metrics 组件，它通过查询 Kubernetes API 获取集群中各种资源的监控指标。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-kube-state-metrics-786777876f-rdprh sh

prometheus-node-exporter-csmkt: 该 Pod 中运行了 node-exporter 组件，用于收集集群中各个节点的硬件和操作系统指标。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-node-exporter-csmkt sh

prometheus-node-exporter-ddpn7: 该 Pod 中也运行了 node-exporter 组件，与上一个 Pod 的作用相同，但是它是另外一个节点上的实例。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-node-exporter-ddpn7 sh

prometheus-node-exporter-mrg2g: 该 Pod 中同样运行了 node-exporter 组件，这是第三个节点上的实例。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-node-exporter-mrg2g sh

prometheus-server-7799b846dd-9n6kq: 这个 Pod 中运行了 Prometheus Server 组件，它通过收集各个组件产生的指标数据，并进行聚合和存储，提供用户友好的界面和 API 供用户查询和使用。
要进入该 Pod 中的容器并执行命令，可以使用以下命令：

kubectl exec -it prometheus-server-7799b846dd-9n6kq sh

3、利用 Prometheus 的 alerting 功能处理cpu使用率超过某一阈值这类告警

具体步骤如下：

1、首先，需要在 Prometheus Server 中定义一个告警规则，这个规则会定期检查云主机的 CPU 使用率是否超过阈值，如果超过则触发告警。可以使用 Prometheus 的规则文件来定义告警规则，例如新建一个名为 cpu-usage.rules 的规则文件，具体内容如下：

groups:
  - name: cpu-usage
    rules:
      - alert: HighCPUUsage
        expr: sum(rate(node_cpu{mode="idle"}[5m])) by (instance) < 0.2 # 20% threshold
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "High CPU usage (instance {{ $labels.instance }})"
          description: "The instance {{ $labels.instance }} has high CPU usage, current value is {{ $value }}"

2、把定义好的告警规则文件加载到 Prometheus Server 中。假设告警规则文件保存在 /etc/prometheus/rules 目录下，可以通过将该目录挂载到 prometheus-server 容器中，并在 Prometheus 配置文件中添加 rule_files 选项来加载告警规则文件，例如：

...
rule_files:
  - /etc/prometheus/rules/*.rules
...

3、在 Alertmanager 中配置告警通知方式。Alertmanager 是一个与 Prometheus 集成的组件，负责接收 Prometheus 生成的告警通知，并发送给接收方进行处理。可以在 Alertmanager 的配置文件中定义告警通知方式，例如新建一个名为 alertmanager.yml 的配置文件，具体内容如下：

route:
  receiver: 'slack-notifications'

receivers:
- name: 'slack-notifications'
  slack_configs:
  - api_url: 'https://hooks.slack.com/services/[webhook-url]'
    channel: '#alerts'
    text: '{{ template "slack.my.alert.text" . }}'
    title: '{{ template "slack.my.alert.title" . }}'

上述配置文件中，定义了将告警通知发送到 Slack，通过 webhook-url 可以获取到对应的 Webhook URL。

4、把定义好的 Alertmanager 配置文件加载到 Alertmanager 中。假设 Alertmanager 配置文件保存在 /etc/alertmanager 目录下，可以通过将该目录挂载到 alertmanager 容器中，在 kubernetes 中创建一个alertmanager deployment 和 service。deployment.yaml文件内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: alertmanager
spec:
  replicas: 1 # 副本数
  selector:
    matchLabels:
      app: alertmanager
  template:
    metadata:
      labels:
        app: alertmanager
    spec:
      containers:
      - name: alertmanager
        image: prom/alertmanager:v0.23.0
        args:
          - --config.file=/etc/alertmanager/alertmanager.yml
          - --storage.path=/alertmanager
        ports:
        - containerPort: 9093
        volumeMounts:
        - name: alertmanager-config-volume
          mountPath: /etc/alertmanager
        - name: alertmanager-storage-volume
          mountPath: /alertmanager
      volumes:
      - name: alertmanager-config-volume
        configMap:
          name: alertmanager-config
      - name: alertmanager-storage-volume
        emptyDir: {}

service.yaml文件内容如下:
apiVersion: v1
kind: Service
metadata:
  labels:
    app: alertmanager
  name: alertmanager
spec:
  ports:
  - name: web
    port: 9093
    targetPort: 9093
  selector:
    app: alertmanager

5、通过 Prometheus 和 Alertmanager 提供的 Web UI 确认是否正确配置了告警规则和接收方。在 Prometheus Web UI 中，可以查看所有的规则和目前是否有告警触发。在 Alertmanager Web UI 中，可以查看当前所有的告警分组、状态和接收方信息。
6、针对 CPU 使用率超过阈值的告警，Alertmanager 会根据事先定义好的告警通知方式将通知发送到对应的接收方（例如 Slack）进行处理，管理员可以根据通知中提供的信息采取相应的操作来缓解 CPU 使用率超过阈值的问题。

4、手动触发告警测试

可以尝试通过压力测试等方式模拟使其中一台云主机的 CPU 使用率达到超过阈值的情况，从而触发该告警规则。下面是一个简单的方法：

1、首先需要确定要测试的云主机的 IP 地址。可以通过 Prometheus 中的查询语句来获取所有被监控的节点 IP，例如查询 node exporter 的 IP 地址：

query: up{job="nodeexporter"}

2、选择其中一台云主机，可以登录到该云主机上，使用压力测试工具对 CPU 进行压力测试，例如使用 stress 工具：

sudo apt-get update
sudo apt-get install stress
stress --cpu 4 --timeout 180

上述命令将会开启一个占用 4 个 CPU 核心，并持续运行 180 秒的 stress 进程，从而模拟 CPU 使用率高的情况。

3、在压力测试过程中，请及时观察 Prometheus Web UI 和 Alertmanager Web UI 中告警的状态，并确认是否触发了对应的告警。若触发了告警，将会按照事先定义好的告警通知方式发送告警信息。

注意，测试时需要谨慎，最好不要对生产环境中正在运行的云主机进行测试，而是选择一个测试环境或者空闲的开发环境进行测试。

另外，如果在没有网络无法安装stress工具情况下，可以使用系统自带的工具来进行 CPU 压力测试，方法如下：

1、使用 dd 命令：dd 命令可以通过写入文件来测试 CPU 的性能。可以使用以下命令来测试：

  dd if=/dev/zero of=/dev/null

这个命令会从 /dev/zero 读取数据，并将其写入到 /dev/null 中。这个命令的目的是测试 CPU 的性能，因为数据不会被写入硬盘。

2、使用 cat 命令：和上面类似，可以使用以下命令：

  cat /dev/zero > /dev/null

这个命令也会向 /dev/null 中写入数据并且不会写入硬盘。

3、使用 sysbench 命令：如果你的系统上已经安装了 sysbench 工具，则可以使用以下命令来进行测试：

  sysbench --test=cpu --cpu-max-prime=20000 run

这个命令会使用一个质数算法来进行 CPU 压力测试。如果你的系统上没有安装 sysbench，可以使用包管理器进行安装。

4、使用 dd 和 pipeviewer 命令：如果你想要同时测试 CPU 和磁盘性能，可以使用以下命令：

   dd if=/dev/zero bs=1M count=10000 | pv | dd of=/dev/null

这个命令会从 /dev/zero 读取 10GB 的数据，并通过 pipeviewer 工具来输出进度信息。数据会被写入 /dev/null 中，因此不会占用硬盘空间。
这些是在没有网络无法安装 stress 工具的情况下进行 CPU 压力测试的一些方法。可以根据具体情况选择适合的方法。

5、Prometheus抓取不到监控指标的值

Prometheus抓取不到监控指标的值可能有以下原因：

1、监控目标配置错误：在 Prometheus 中，抓取监控指标需要配置目标。如果目标未正确配置，则 Prometheus 将无法抓取指标。例如，如果目标的 IP 地址或端口号错误，或者目标上的监控代理未正确配置，则 Prometheus 将无法抓取指标。
2、监控指标不存在或名称错误：当 Prometheus 抓取监控指标时，需要指定一个正确的指标名称。如果指标名称不存在或指标名称错误，则 Prometheus 将无法抓取指标，从而导致抓取不到监控指标的值。
3、抓取规则配置错误：在 Prometheus 中，可以使用抓取规则调整抓取目标的行为。如果抓取规则未正确配置，则可能会导致 Prometheus 抓取不到监控指标的值。例如，如果抓取规则中的抓取目标与实际监控目标不匹配，则会导致抓取不到指标。
4、通信问题：如果监控目标和 Prometheus 之间存在网络通信问题，则可能会导致 Prometheus 抓取不到监控指标的值。例如，如果目标防火墙阻止了来自 Prometheus 的连接或阻止了指定的端口，则可能会导致抓取不到监控指标。还可能是因为网络延迟或其它网络故障。
5、抓取频率设置不当：在 Prometheus 抓取监控指标的过程中，需要设置合适的抓取频率。如果抓取频率设置太低，则可能会导致 Prometheus 无法及时抓取监控指标。但是如果抓取频率设置太高，则可能会导致由于高网络流量或过多的指标而导致抓取失败。

总之，如果 Prometheus 无法抓取监控指标的值，则需要逐一排查上述问题，并解决导致问题的根本原因，以确保 Prometheus 正确抓取监控指标的值。

6、Prometheus客户端的targets中vm-instance中有些endpoint状态为up有些为down

在Prometheus监控系统中，各个被监控的目标可以是一个或多个Endpoint。如果在Target子菜单中，所有Endpoint都被标记为down状态，这说明Prometheus无法从这些Endpoint获取任何指标数据，即这些目标无法被Prometheus监控。
由于监控数据的缺失，这可能会对监控数据产生一些负面影响，例如：

1、无法监控到Endpoint的性能指标，例如请求响应时间、请求吞吐量等，从而无法提供准确的指标数据。
2、在Prometheus服务器收集监控数据时，会有很多请求超时和错误，这可能会产生大量的日志记录，从而在服务器上消耗过多的内存和CPU资源，这可能会导致Prometheus服务器的压力增加。
3、由于无法从Endpoint收集数据，可能会影响Prometheus的警报功能，因为警报规则通常基于监控数据进行设置。

7、什么时候虚拟机的监控状态为up或者down

在Prometheus监控的Kubernetes集群中，每个虚拟机的状态取决于它是否运行了Prometheus的node-exporter服务，并且Kubernetes的监控指标接口（kubelet指标接口）是否正常运行。
node-exporter是用于收集虚拟机上的node级别指标数据的Prometheus exporter，例如内存使用情况、CPU使用率等指标。它会将这些指标数据暴露为HTTP接口，以便被Prometheus服务器进行数据抓取和分析。因此，如果虚拟机上运行了node-exporter，并且该Exporter服务的HTTP接口处于可访问状态，则Prometheus可以访问到该虚拟机的指标数据，该虚拟机的endpoint状态就会被设置为up。
Kubernetes的监控指标接口也是类似的。kubelet是一个运行在Kubernetes节点上的系统进程，负责管理该节点上的容器和Pod等资源。kubelet会将节点的运行状态暴露为HTTP接口，供Prometheus进行数据抓取。如果该接口处于正常运行状态，则Prometheus可以访问到该节点的指标数据，该节点的endpoint状态就会被设置为up。
因此，如果创建的虚拟机没有正常运行node-exporter或kubelet指标接口，则Prometheus无法访问到该节点的指标数据，该节点的endpoint状态就会被设置为down。