在CentOS中使用Cgroups

Linux Cgroups

Linux Cgroups 就是 Linux 内核中用来为进程设置资源限制的一个重要功能。
Linux Cgroups 的全称是 Linux Control Group。它最主要的作用，就是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等。
此外，Cgroups 还能够对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。

在 Linux 中，Cgroups 给用户暴露出来的操作接口是文件系统，即它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。

cd /sys/fs/cgroup
ll

drwxr-xr-x 5 root root  0 Mar 17 13:38 blkio
lrwxrwxrwx 1 root root 11 Mar 17 13:38 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 Mar 17 13:38 cpuacct -> cpu,cpuacct
drwxr-xr-x 6 root root  0 Mar 22 21:17 cpu,cpuacct
drwxr-xr-x 4 root root  0 Mar 17 13:38 cpuset
drwxr-xr-x 5 root root  0 Mar 17 13:38 devices
drwxr-xr-x 4 root root  0 Mar 17 13:38 freezer
drwxr-xr-x 4 root root  0 Mar 17 13:38 hugetlb
drwxr-xr-x 5 root root  0 Mar 17 13:38 memory
lrwxrwxrwx 1 root root 16 Mar 17 13:38 net_cls -> net_cls,net_prio
drwxr-xr-x 4 root root  0 Mar 17 13:38 net_cls,net_prio
lrwxrwxrwx 1 root root 16 Mar 17 13:38 net_prio -> net_cls,net_prio
drwxr-xr-x 4 root root  0 Mar 17 13:38 perf_event
drwxr-xr-x 5 root root  0 Mar 17 13:38 pids
drwxr-xr-x 5 root root  0 Mar 17 13:38 systemd

它的输出结果，是一系列文件系统目录。如果你在自己的机器上没有看到这些目录，那你就需要自己去挂载 Cgroups，具体做法可以自行 Google。

可以看到，在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。这些都是我这台机器当前可以被 Cgroups 进行限制的资源种类。而在子系统对应的资源种类下，你就可以看到该类资源具体可以被限制的方法。比如，对 CPU 子系统来说，我们就可以看到如下几个配置文件，这个指令是：
ls cpu

cgroup.clone_children  cgroup.procs          cpuacct.stat   cpuacct.usage_percpu  cpu.cfs_quota_us  cpu.rt_runtime_us  cpu.stat  kubepods.slice     release_agent  tasks
cgroup.event_control   cgroup.sane_behavior  cpuacct.usage  cpu.cfs_period_us     cpu.rt_period_us  cpu.shares         docker    notify_on_release  system.slice   user.slice

如果熟悉 Linux CPU 管理的话，你就会在它的输出里注意到 cfs_period 和 cfs_quota 这样的关键词。这两个参数需要组合使用，可以用来限制进程在长度为 cfs_period 的一段时间内，只能被分配到总量为 cfs_quota 的 CPU 时间。

使用Cgroups

在/sys/fs/cgroup/cpu目录下创建一个“控制组”目录loop
mkdir loop && cd loop && ls

cgroup.clone_children  cgroup.procs  cpuacct.usage         cpu.cfs_period_us  cpu.rt_period_us   cpu.shares  notify_on_release
cgroup.event_control   cpuacct.stat  cpuacct.usage_percpu  cpu.cfs_quota_us   cpu.rt_runtime_us  cpu.stat    tasks

操作系统会在你新创建的loop目录下，自动生成该子系统对应的资源限制文件。

后台执行死循环脚本

cat > /loop.sh <<EOF
#!/bin/sh
while : ; do : ; done &
EOF

bash /loop.sh

可以用top指令来确认一下CPU有没有被打满

top

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
32158 root      20   0  113284    384    200 R 100.0  0.0   3:37.07 bash 

在输出里可以看到，CPU 的使用率已经 100% 了（%Cpu0 :100.0 us），进程ID为32158。

cat /sys/fs/cgroup/cpu/loop/cpu.cfs_quota_us 
-1

cat /sys/fs/cgroup/cpu/loop/cpu.cfs_period_us 
100000

向 loop 组里的 cfs_quota 文件写入 10 ms（10000 us）

echo 10000 > /sys/fs/cgroup/cpu/loop/cpu.cfs_quota_us

它意味着在每 100 ms 的时间里，被该控制组限制的进程只能使用 10 ms 的 CPU 时间，也就是说这个进程只能使用到 10% 的 CPU 带宽。

接下来，我们把被限制的进程的 PID 写入 container 组里的 tasks 文件，上面的设置就会对该进程生效了

echo 32158 > /sys/fs/cgroup/cpu/loop/tasks

再次使用 top 指令查看一下

top

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
32158 root      20   0  113284    384    200 R  10.0  0.0   9:00.68 bash

可以看到，计算机的 CPU 使用率立刻降到了 10%（%Cpu0 : 20.3 us）。

清理目录文件

安装工具包

yum install -y libcgroup libcgroup-tools

删除自定义的loop控制组目录

cd /sys/fs/cgroup/cpu/
cgdelete cpu:loop

清除CPU 100%的进程
kill -KILL 32158