06｜容器CPU（2）：如何正确地拿到容器CPU的开销？

本文仅作为学习记录，非商业用途，侵删，如需转载需作者同意。

CPU开销的异常，往往是程序异常最明显的一个指标

一、问题重现

容器中运行top，"%Cpu(s)"那一行中显示的数值，并不是这个容器的 CPU 整体使用率，而是容器宿主机的 CPU 使用率。

1.1、进程CPU使用率

查看 /proc/[pid]/stat文件中有50多项信息，包括：进程的运行状态，父进程PID，进程优先级，进程使用的内存等等

这里关注 stat文件中的 14项utime，15项stime。

utime：表示进程的用户态部分在Linux调度中获得CPU的ticks
stime：表示进程的内核态部分在Linux调度中获得CPU的ticks

ticks是什么:
就是Linux操作系统中的一个时间单位，可以理解成秒和毫秒的概念。
Linux中有个自己的时钟，会周期性的产生中断，每次中断都会触发Linux内核去做一次进程调度，而这一次中断就是一次tick。
因为是周期性的中断，比如1秒钟100次中断，那么一个tick作为一个时间单位看的话，也就是1/100 秒。

举个例子：
假如进程的utime 是130 ticks，就相当于 130*1/100=1.3秒，也就是进程从启动开始，在用户态总共运行了1.3秒。

utime和stime 都是一个累计值。

如果计算某个时间段内的进程的总CPU 运行时间？

假设 T1和 T2时刻之间是1秒，我们可以获取到T1 时刻的 utime_1和stime_1，同时获得T2 时刻的 utime_2 和 stime_2

在这1秒的瞬时，进程在用户态获得的 CPU ticks 就是（utime_2 — utime_1），在内核态获得的CPU ticks就是 （stime_2 — stime_1）。

进程CPU 总的开销就是用户态加上内核态，这1秒瞬时进程总的 CPU ticks 等于 (utime_2 – utime_1) + (stime_2 – stime_1)。

ticks如何转化为百分比呢？
根据top的源码，有个公式：

进程的 CPU 使用率 =((utime_2 – utime_1) + (stime_2 – stime_1)) * 100.0 / (HZ * et * 1 )

• ((utime_2 – utime_1) + (stime_2 – stime_1)) 是瞬时进程总的 CPU ticks

• 乘以 100.0 的目的是产生百分比数值

• HZ ：就是tick的频率，1秒钟里ticks的次数，这里的值是100

• et是上面说的瞬时的时间，也就是utime_1 和 utime_2 这两个值的时间间隔。

• 1：表示1个CPU

(HZ * et * 1 ) ：在这瞬时的时间（et）里，1个CPU所包含的ticks数目。

进程的CPU使用率=（进程的ticks/单个CPU总ticks）*100

1.2、系统CPU使用率

/proc/stat 就是整个系统的CPU使用率，是自系统启动以来的累计值，文件中 CPU 这行有10列数据，前8列数据正好对应top输出中"%Cpu(s)"那一行里的 8 项数据，也就是在上一讲中，我们介绍过的 user/system/nice/idle/iowait/irq/softirq/steal 这 8 项。

下面的图：
前8列的数值，分别是不同CPU类型的ticks的累计值，因此相减就是对应时间段的ticks。

计算每一种CPU使用率的百分比：
将时间段内（例如1秒钟）的ticks相加得到一个总值，然后拿某一项的ticks值除以这个总值，比如说计算idle CPU的使用率就是：
（1203 / 0 + 0 + 0 + 1203 + 0 + 0 + 0 + 0）=100%

对于单个进程的 CPU 使用率计算，我们需要读取对应进程的 /proc/[pid]/stat 文件，将进程瞬时用户态和内核态的 ticks 数相加，就能得到进程的总 ticks。

然后我们运用公式“(进程的 ticks / 单个 CPU 总 ticks) * 100.0”计算出进程 CPU 使用率的百分比值。

对于系统的 CPU 使用率，需要读取 /proc/stat 文件，得到瞬时各项 CPU 使用率的 ticks 值，相加得到一个总值，单项值除以总值就是各项 CPU 的使用率。

二、解决问题

容器中使用top命令，它只能显示整个节点中各项CPU的使用率，不能显示单个容器的各项CPU的使用率

CPU Cgroup控制组里有个文件中可读项：cpuacct.stat 包含了两个统计值：
这个控制组里所有进程的内核态ticks和用户态ticks

然后利用上面的公式去计算CPU的利用率。

CPU使用率=((utime2-utime1)+(stime2-stime1))100 / (HZet*1)

整个容器的 CPU 使用率的百分比就是 ( (174021 - 173820) + (4 – 4)) * 100.0 / (100 * 1 * 1) = 201, 也就是 201%

从每个容器的 CPU Cgroup 控制组里的 cpuacct.stat 的统计值中，可以比较快地得到整个容器的 CPU 使用率。

三、重点总结

Linux里获取CPU 使用率的工具，比如top，都是通过读取proc文件系统下的 stat 文件来得到CPU 使用了多少 ticks。
ticks 是Linux中的一个时间单位，可以理解成类似秒和毫秒的概念。

对于每个进程来说，它的stat文件是 /proc/[pid]/stat ，里面包含了进程用户态和内核态的 ticks数目；
对于整个节点，它的stat文件是 /proc/stat 里面包含了 user/system/nice/idle/iowait 等不同类型CPU开销的类型的 ticks。

由于 /proc/stat 是整个节点的全局的状态文件，不属于任何一个namespace，因此无法通过读取这个文件来获取单个容器的CPU 使用率。

获取单个容器的CPU 使用率：
可以从CPU Cgroup 控制组里的每个统计文件 cpuacct.stat 中获取。
单个容器 CPU 使用率 =((utime_2 – utime_1) + (stime_2 – stime_1)) * 100.0 / (HZ * et * 1 )

四、评论

问题1：
ticks 1s中是100次，这个怎么查呢？

回答1：USER_HZ, 可以用命令 "getconf CLK_TCK"拿

问题2：
容器的cpu使用就必须要在容器内进行，从宿主机是无法计算的，是这样吗?

回答2：不是这样的，从宿主机也可以得到容器对应的CPU Cgroup里的值。

问题3：
容器运行时比如docker，在做容器化的时候，有没有办法构造出一个和物理机一样的proc文件系统呢？这样的话，容器环境和虚拟机也没啥差别了，物理机上的应用也可以无障碍运行在容器环境中。

回答3：https://github.com/lxc/lxcfs， lxcfs可以为每个容器虚拟一些/proc下的文件，比如/proc/stat

问题4：
像Prometheus或者k8s自己的metrics server获取到的pod各个资源使用率(cpu men net io)也是这样通过查看进程/proc来计算得出的吗？如果是这样的话，指标数据太多，运算太大会不会也会消耗节点资源呢

回答4：cAdvisor就是通过读取sys cgroup 或者 /proc下的状态信息来得到container cpu/mem/net/io metrics的。
一般一个节点上的container数量是小于1000的，metrics获取的周期在10s 的情况下， 这个资源消耗不会很大。

问题5：
在k8s集群中，使用metrics查看到整个pod的资源用量，这个粒度已经够了吧？我的理解是如果pod内不是单一容器，或者容器内有多个进程，这个时候才应该考虑进程级的cpu用量。

回答5：是的

问题6:
问题1）生产上面 如果把nginx放入到pod中，是不是会碰到目前为止老师说的那些所有问题 比如关闭容器sigterm主进程nginx master。所有的nginx worker都被sigkill。
问题2）然后容器里面的各个进程用的cpu总合是会被k8s metrics计算到的吧。

回答6
. > 问题1
nginx 似乎有自己的master process 和 client processes之间的socket连接。如果nginx master作为容器里的pid 1, 当关闭容器的时候master收到SIGTERM, 而其他的client子进程是看到socket连接断开之后，主动退出的。
.> 问题2
是的， 用cAdvisor可以统计整个容器的cpu.

五、附加问题

lxcfs 怎么使用的

lxcfs 是通过文件挂载的方式，把 cgroup 中关于系统的相关信息读取出来，通过 docker 的 volume 挂载给容器内部的 proc 系统。 然后让 docker 内的应用读取 proc 中信息的时候以为就是读取的宿主机的真实的 proc。

解释一下这张图，当我们把宿主机的/var/lib/lxcfs/proc/memoinfo文件挂载到 Docker 容器的/proc/meminfo位置后，容器中进程读取相应文件内容时，lxcfs 的 /dev/fuse 实现会从容器对应的 Cgroup 中读取正确的内存限制。从而使得应用获得正确的资源约束。 cpu 的限制原理也是一样的。

lxcfs 分别在docker和k8s 情况的使用说明，参考阅读文档：
https://juejin.cn/post/6847902216511356936