关于cgroup 学习

一、前言

cgroup在K8S中有重要应用,K8S参考书籍：

kubernetes权威指南第5版

公司一个项目用linux 的 cgroup 技术来限制进场cpu和内存使用，具有非常好的学习意义，所以业余写下笔记，来记录一下cgroup的使用

cgroup 可以绑定一组进程集合，他的内核接口暴露是通过linux伪文件系统来实现的，我们可以通过linux 上一些特定的文件来限制进场cpu和内存的使用

二、cgroup学习

介绍地址:

https://man7.org/linux/man-pages/man7/cgroups.7.html

cgroup 现在有两个版本 v1 和 v2

每个cgroup 都有自己的一组文件，通过读取写入来限制cpu和内存

挂载v1控制器

使用cgroup必须在编译内核的时候使用CONFIG_CGROUP选项

为了使用v1控制器，你必须挂载一个cgroup的文件系统,他一般挂载到

/sys/fs/cgroup下面，例如挂载一个cpu控制器：

 mount -t cgroup -o cpu none /sys/fs/cgroup/cpu

挂载多个cgroup控制器到相同的层级：

mount -t cgroup -o cpu,cpuacct none /sys/fs/cgroup/cpu,cpuacct

卸载cgroup

umount /sys/fs/cgroup/pids

卸载cgroup的时候我们要首先确保他没有子cgroup才可以卸载。

每个cgroup控制器都有一个配置项管理

cpu：

他可以在限制进程使用cpu额度的下限和上限

cpuacct

按组计算cpu使用情况

cpuset

绑定cgroup中的进程到一组cpu上

memory

控制进程使用内存的上限和下限

devices

控制哪些进程可以创建设备驱动 mknod

freezer

可以暂停和恢复所有cgroup的系统

net_cls

可以将cgroup的classid放到网络包上

blkio

限制块设备以io形式对存储节点的访问，有两种限制策略，基于权重时间和io速率

perf_event

允许对cgroup的进程使用perf

net_prio

允许指定cgroup网络接口的优先级

hugetlb

限制cgroup大页的使用

pids

限制cgroup中进程数量

rdma

允许RDMA控制器使用RDMA/IB-有限制的使用每个cgroup特定的资源。

环境介绍

我们找cat /proc/mounts,发现没有cgroup

# cat /proc/mounts |grep cgroup
cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

发现我的电脑上是v2版本,v1版本是：

cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd 0 0
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpuacct,cpu 0 0
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_prio,net_cls 0 0
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset 0 0
cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0

v2版本：

cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

我们发现v2版本的mount option只有

rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

三、使用c++简单完成一个cgroupv2版本的使用

调用：

#include <iostream>
#include "cgroup.h"

int main() {
    CGroup cGroup;
    int ret = cGroup.sureMount("/home/zhanglei/cgroup/red/", "red", "rw");
    return 0;
}

挂载cgroup2实现

void cgroupMkdir(const std::string& path) {
    char tmpPath[PATH_MAX];
    ::realpath(path.c_str(), tmpPath);
    std::cout << tmpPath << std::endl;
    int ret = access(tmpPath, F_OK);
    if (ret == -1) {
        int ret = mkdir(tmpPath, S_IRWXU );
        if (ret == -1) {
            std::cout << strerror(errno) << std::endl;
        }
        return cgroupMkdir(path);
    }
    return;
}

bool CGroup::sureMount(std::string path, std::string name, std::string subsystem) {
    cgroupMkdir(path);

    std::cout << path << std::endl;
    int ret = ::mount(name.c_str(), path.c_str(), "cgroup2", 0, subsystem.c_str());
    if (ret != 0) {
        std::cout << "mount:" << strerror(errno) << std::endl;
        return false;
    }
    std::cout << "ok" << std::endl;
    return true;
}

我们发现/home/zhanglei/cgroup/red下面多了一些文件

cg1                 cgroup.max.descendants  cgroup.threads         cpu.stat             io.cost.model  io.stat           misc.capacity                  sys-kernel-tracing.mount
cg2                 cgroup.procs            cpu.pressure           dev-hugepages.mount  io.cost.qos    memory.numa_stat  sys-fs-fuse-connections.mount  system.slice
cgroup.controllers  cgroup.stat             cpuset.cpus.effective  dev-mqueue.mount     io.pressure    memory.pressure   sys-kernel-config.mount        user.slice
cgroup.max.depth    cgroup.subtree_control  cpuset.mems.effective  init.scope           io.prio.class  memory.stat       sys-kernel-debug.mount

四、使用cgroup 限制cpu案例

我们使用php写一个demo

<?php
while(1) {
}

运行后他是可以占用一个核的cpu，也就是最大到100%

现在我们使用cgroups 来限制他,将进程 test.php pid写入cg1的目录下

ps aux|grep test.php|grep -v "grep"|awk '{print $2}' > /home/zhanglei/cgroup/red/cg1/cgroup.procs

限制test.php 的cpu

echo "200000 1000000" > /home/zhanglei/cgroup/red/cg1/cpu.max

发现test.php 只用了20

这意味着1秒内 php 最多执行200毫秒我们看下效果

10670 zhanglei  20   0   91168  21224  16560 R  19.9   0.1   5:52.18 php