cgroup 详解

cgroup：对进程进行分组，在对分组整体进行资源的分配和控制

概念

task：一个进程

hierarchy：层级

1. cgroup形成树形结构，每个节点都是一个进程组，
2. 子节点是父节点进程组的子集，并继承父节点属性，
3. 根部节点为root group（为系统所有进程）
4. 进程创建子进程，默认该子进程与父进程同处于同一个进程组中，但是可以随意挪动子进程所处的cgroup
5. 一个进程不同处于同一个层级上的，等同级别的cgroup中
   

subsystem：子系统，子系统就是资源控制器，每种子系统就是一个资源的控制器

1. cpu子系统：该子系统为每个进程组设置一个使用CPU的权重值，以此来管理进程对cpu的访问。
2. cpuset子系统：对于多核cpu，该子系统可以设置进程组只能在指定的核上运行，并且还可以设置进程组在指定的内存节点上申请内存。
3. cpuacct子系统：该子系统只用于生成当前进程组内的进程对cpu的使用报告。
4. memory子系统：该子系统提供了以页面为单位对内存的访问，比如对进程组设置内存使用上限等，同时可以生成内存资源报告
5. blkio子系统：该子系统用于限制每个块设备的输入输出。首先，与CPU子系统类似，该系统通过为每个进程组设置权重来控制块设备对其的I/O时间；其次，该子系统也可以限制进程组的I/O带宽以及IOPS。
6. devices子系统：通过该子系统可以限制进程组对设备的访问，即该允许或禁止进程组对某设备的访问。
7. freezer子系统：该子系统可以使得进程组中的所有进程挂起。
8. net-cls子系统：该子系统提供对网络带宽的访问限制，比如对发送带宽和接收带宽进程限制。

子系统和层级的关系：

1. 一个层级可以附加大于等于一个子系统，例如可以将cpu、memory同时attach到同一个/cgroup/cpu_mem上
2. 如果一个层级已经附加了一个子系统，则不能再讲其它子系统附加到它之上，例如memory已经附加在/cgroup/mem上，cpu则不能再次附加到/cgroup/mem上了
3. 可以将一个子系统同时附加给多个层级上，如可以将cpu同时附加到/cgroup/cpu1和/cgroup/cpu2
   
4. 每个层级可以关联多个子系统
5. 
   

mount一个子系统：

mount -t cgroup -o cpu,memory cpu_memory /cgroup/cpu_memory

如果报错：mount: /cgroup/cpu_memory already mounted or /cgroup/cpu_memory busy，则需要检查cpu或者memory是否已经mount过

命令， lssubsys -am

umount一个子系统：

首先，如果rootcgroup下有子cgroup时，需要将子系统文件夹内的子cgroup rmdir删除掉，如cpu_memory文件夹下的文件，然后umount /cgroup/cpu_memory/，否则通过命令lssubsys -i或cat /proc/cgroup，会发现其hierarchy不为0，umount并不成功。

相关命令：

创建subsystem挂载点：

mount -t cgroup -o remount,cpu,cpuset,cpuacct,memory cpu_and_mem /cgroup/cpu_and_mem

lssubsys -am

mount -t cgroup -o memory mem1 /cgroup/mem1


umount /cgroup/cpu_and_mem

创建cgroup：


cgcreate -g cpu,net_cls:/test-subgroup

cgcreate -g cpu,net_cls:/test-subgroup/test

或

mkdir命令

删除cgroup：

cgdelete cpu,net_cls:/test-subgroup

更改值：

cgset -r cpuacct.usage=0 group1

echo 0-1 > /cgroup/cpu_and_mem/group1/cpuset.cpus

增加进程pid：

cgclassify -g cpu,memory:group1 1701 1138

echo 1701 > /cgroup/cpu_and_mem/group1/tasks