weixin_43539320的博客

一、故障出现原因prometheus机器压力过大，内存耗尽，负载飙高，导致无法登录；于是从公有云web界面进行重启，重启后内存还是不足，负载很快升高；对机器进行配置变更，由4C+8G升级为4C+16G；二、故障表现Grafana无法获取指标、但是可以通过curl命令获取远程目标主机暴露的指标；日志有以下报错level=warn ts=2024-05-23T11:04:46.410Z caller=scrape.go:1094 component="scrape manager" scrape_

很多都是通过在k8s集群内部安装prometheus来进行k8s的集群监控，但是在企业的云原生过程中，往往会出现多种类型（容器化与非容器化）的服务并存的情况，一般会将prometheus部署在k8s集群外部，但是最终还是希望可以将prometheus部署在k8s集群内，这样不仅可以充分运用服务器的资源，还避免授权相关的问题。但是还是会有大量的使用prometheus监控外部的k8s集群的需求。

fluentd内存使用大于60MBfluent-bit内存使用约等于1MB。

process-exporter主要用来监控进程的运行状态和资源使用情况。

Pushgateway为Prometheus整体监控方案的功能组件之一，并做为一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景，如监控源位于防火墙之后，Prometheus无法穿透防火墙；目标服务没有可抓取监控数据的端点等多种情况。在类似场景中，可通过部署Pushgateway的方式解决问题。当部署该组件后，监控源通过主动发送监控数据到Pushgateway，再由Prometheus定时获取信息，实现资源的状态监控。工作流程。

由于prometheus是通过pull的形式来去目标主机上拉取数据，就是说prometheus服务器必须知道要监控的目标主机的地址等信息，当新增主机的时候，就需要手动增加prometheus的配置文件，很麻烦，所以出现了服务发现，来自动发现被监控的主机，并加入到配置中，然后prometheus再定时的拉取目标主机暴漏的指标。本次主要讲解基于kubernetes的服务发现。

功能在已有的标签中，无法进行环境的区分。我们也可以自己添加一些标签，通过不同的标签来做环境区分，在查询、告警的时候，实现多维度、精细查询。