Pod进程内存缓存分析

背景

在使用kubernetes过程中，可以通过kubectl top pod 命令可以查看到各个Pod内存使用情况，从而发现与Pod进程实际使用内存不一致，具体情况如下：

Java应用部署在kubernetes中，配置的JVM参数为 -Xmx2048m -Xms2048m Pod memory request设置为3G， memory limit 为 4G

查看目前Pod已使用内存

# kubectl top pods         
gateway-5bf49bcb7-7mj99           98m          3046Mi 

然后我们通过top命令进行查看内存使用情况

top - 15:29:03 up 140 days, 13:13,  0 users,  load average: 0.49, 0.46, 0.51
Tasks:   5 total,   1 running,   4 sleeping,   0 stopped,   0 zombie
%Cpu(s):  3.8 us,  1.8 sy,  0.0 ni, 93.8 id,  0.5 wa,  0.0 hi,  0.1 si,  0.0 st
MiB Mem :  32011.6 total,    239.0 free,  13934.4 used,  17838.2 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.  17679.0 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND           
    8 root      20   0 7761.2m   2.0g  15.2m S  10.3   6.3  77:27.35 java             
    1 root      20   0    2.3m   0.7m   0.5m S   0.0   0.0   0:00.01 sh               
    7 root      20   0    5.5m   1.7m   1.3m S   0.0   0.0   0:00.00 run.sh           
 1349 root      20   0    5.8m   2.2m   1.6m S   0.0   0.0   0:00.02 bash             
 1355 root      20   0    9.5m   1.8m   1.3m R   0.0   0.0   0:00.01 top 

通过如上操作可以看出，通过kubectl top pods 可以看到使用内存为3046M,而通过top命令可以使用内存为2.0G，由此可以看出Pod内存要高于实际使用内存。

Pod内存指标详解

通过kubectl top pods 获取监控指标数据都是 Prometheus metrics 组件来完成，接下来介绍下比较常用的监控指标；

• kube_pod_container_resource_limits Pod内存限制
• kube_pod_container_resource_requests Pod所需内存
• container_memory_working_set_bytes Pod实际使用内存，也是 limit限制时的 oom 判断依据
• container_memory_rss Pod进程使用内存

Linux 缓存机制引入

缓存机制介绍

在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有的话直接返回，如果没有则通过驱动程序直接操作磁盘。

缓存机制优点： 减少系统调用次数