k8s内存监控

Pod的内存指标

对于Pod内存相关的指标，主要有两个数据源：

1. 基于kube-state-metrics，采集到的是内存Limits和Requests的设置情况。

指标	含义
kube_pod_container_resource_limits_memory_bytes	Pod内存Limits设置量
kube_pod_container_resource_requests_memory_bytes	Pod内存Requests设置量

2. 基于kubelet上的CAdvisor，采集到的是内存使用情况。关键的指标如下：

CAdvisor是Google开源用于收集容器资源和性能指标的一个工具，对于Kubernetes，其集成在kubelet里面，可以收集到每个节点上的Pod指标。

指标	含义
container_memory_usage_bytes	当前使用的内存总量。包括所有使用的内存，不管有没有被访问（包括cache，rss，swap等）
container_memory_rss	RSS使用量。RSS是常驻内存集（Resident Set Size）的缩写，是分配给进程使用实际物理内存，包括所有分配到的栈内存和堆内存以及加载到物理内存中的共享库占用的内存空间。不包含磁盘缓存
container_memory_cache	缓存使用量
container_memory_swap	虚拟内存使用量。虚拟内存（swap）指的是用磁盘来模拟内存使用。对性能有影响，一般不用。
container_memory_working_set_bytes	当前内存工作集（working set）使用量，即WSS。工作区内存使用量=活跃的匿名与缓存，以及file-baked页。（working set <= usage）
container_memory_failcnt	申请内存失败次数
container_memory_failures_total	内存申请错误总次数

基于以上的指标，就可以计算Pod的内存使用率，当然，需要Pod有设置Limits才有意义

sum(container_memory_working_set_bytes{pod!="POD", container!=""}) by (pod) / sum(kube_pod_container_resource_requests_memory_bytes{}) by (pod)

Pod何时OOM

先说结论，Pod OOM主要看的是working_set（即WSS）的使用量是否超过Limits。

准备一个简单的程序，其功能是不断地申请内存

package main

import (
	"fmt"
	"net/http"
	"time"
	"os"
	"strconv"

	"github.com/prometheus/client_golang/prometheus/promhttp"
)

func main(