linux的qos机制 - cgroup篇 (1)

cgroups全称control groups，在RHEL6的2.6.32内核中已经包括了cgroup的patch。这里强烈建议安装RHEL6(CentOS6)来使用cgroups，如果没有的话，只能升级内核了 ( > 2.6.26版本) 

下面的例子通过对cgroups的blkio, cpuset, memory三个子系统的实现来演示如何应用cgroups，我们这里不使用红帽子的libcgroup package提供的工具，通过该工具进行cgroup的操作详见这篇 http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6/pdf/Resource_Management_Guide/Red_Hat_Enterprise_Linux-6-Resource_Management_Guide-en-US.pdf

1. cpu子系统

cpu.shares：假设cgroup A的tasks的cpu.shares值为1，cgroup B的tasks的cpu.shares值为2，则cgroup B的进程占用的cpu时间是cgroup A上进程的2倍。

cpu.rt_runtime_us

cpu.rt_period_us：这两个值建议不要设，让OS去调度占用的CPU时间的绝对值。

# mkdir /cgroup/cpu

# mount -t cgroup -o cpu none /cgroup/cpu

# mkdir /cgroup/cpu/tinker

# mkdir /cgroup/cpu/tailor

首先创建好cpu subsys的 cgroups，一共3个，可以从/proc/cgroups查询到。下面通过taskset -c 0指定程序的cpu affinity为cpu 0，启动2个进程

# taskset -c 0 yes low > /dev/null &

# taskset -c 0 yes high > /dev/null &

同时把两个pid分别echo $pid > tasks 文件中。修改cpu/tinker的cpu.shares为2048， cpu/tailor的cpu.shares为512，下面通过ps看他们的cpu占用率吧

# ps -C yes -opid,%cpu,psr,args
  PID %CPU PSR COMMAND
19163 20.8   0 yes low
19164 79.4   0 yes high

tips：

1) 较低内核版本有个bug，详情见 http://lists.linux-foundation.org/pipermail/containers/2008-September/012948.html，推荐使用 > RHEL6.0作为服务器

2) 删除child cgroup请用rmdir，rm -rf是无效的

3) 可能是内核调度器的算法，设置了cpu.shares之后CPU利用率不会立刻就变为shares指定的那样，需要等待一段时间，基本上是个曲线的变化过程，之后就正确了。

2. cpuacct子系统

没啥好讲的，跳过

3. cpuset子系统

cpuset.cpus， cpuset.mems 表示不同cgroup的tasks可以使用的cpu核以及cpu对应的memory node （NUMA架构下），

cpuset.cpu_exclusive cpuset.mem_exclusive 表示是否共享该核以及对应的memory node （NUMA架构下），一般都为0表示可以共享

cpuset.sched_load_balance 表示是否对cpuset的所有CPU做负载平衡

cpuset.sched_relax_domain_level 表示调度策略，具体不赘述了

cpuset是和cpu affinity相关的，做实验如下：

# mount -t cgroup -o remount, cpuset none /cgroup/cpu

# mkdir tinker

# echo 0 > tinker/cpuset.cpus

启动一个进程，查看其cpu affinity

# yes hello > /dev/null &

[1] 19425

# taskset -p 19425
pid 19425's current affinity mask: 3
# taskset -c -p 19425
pid 19425's current affinity list: 0,1

# echo 19425 > tinker/tasks

# taskset -c -p 19425
pid 19425's current affinity list: 0

可以看出由于cpuset只有CPU 0，当把进程挂到cgroup tinker上之后，其CPU affinity也变为0

下面把cgroup tinker的cpu_exclusive设为1，表示独占该CPU

# echo 1 > tinker/cpuset.cpu_exclusive

# mkdir tailor

# echo 0 > tailor/cpuset.cpus

此时报错write error: Invalid argument，因为CPU 0已经被cgroup tinker独占，所以cgroup tailor只能使用CPU1

# echo 1 > tailor/cpuset.cpus 

DONE!