cgroups控制cpu，memory，io使用率

[size=medium]Cgroups是control groups的缩写，最初由Google工程师提出，后来编进linux内核。
Cgroups是实现IaaS虚拟化(kvm、lxc等)，PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础。
[/size]
首先来一张来对比下当前进行操作系统资源使用率的技术。
[img]http://dl2.iteye.com/upload/attachment/0119/2551/e6358041-64ff-3abc-8193-da438921690d.jpg[/img]

本文将采用三个示例来展示cgroups的作用。

测试环境准备：
1.win7下安装virtualbox，虚拟机中安装了centos6.8.
2.下文将会用到iotop命令进行io使用率的查看，这个版本中没有安装，请在有网络的情况下执行一下命令进行安装：

yum install iotop

3.请确保cgroups服务已经启动了，如果没有请先启动服务，相关命令如下：

service cgconfig status   #查看cgroups服务当前的运行状态
service cgconfig start   #开启cgroups服务
chkconfig cgconfig on   #开启开启启动，如果不想开机自启动时，此处可以不用执行

4.在/cgroup，有如下文件夹，默认是多挂载点的形式，即各个子系统的配置在不同的子文件夹下
[code="java"]# ls /cgroup/
blkio cpu cpuacct cpuset devices freezer memory net_cls
#
[/code]
[size=large][b]cgroups管理进程cpu资源[/b][/size]

模拟耗cpu很多的脚本：
[code="java"]# cat t1.sh
#!/bin/bash

x=0;
while [ true ]
do
x=$x+1
done;

#
[/code]top可以看到这个脚本基本占了100%的cpu资源
[code="java"]# top

top - 22:13:41 up 1:52, 4 users, load average: 0.99, 1.09, 1.07
Tasks: 187 total, 2 running, 185 sleeping, 0 stopped, 0 zombie
Cpu(s): 97.3%us, 2.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.7%hi, 0.0%si, 0.0%st
Mem: 1020076k total, 929336k used, 90740k free, 165328k buffers
Swap: 1257468k total, 202312k used, 1055156k free, 195172k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3834 root 20 0 103m 1348 1012 R 91.4 0.1 0:11.14 t1.sh
[/code]下面用cgroups控制这个进程的cpu资源

mkdir -p /cgroup/cpu/foo/   #新建一个控制组foo
echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  #将cpu.cfs_quota_us设为50000，相对于cpu.cfs_period_us的100000是50%
echo 3834 > /cgroup/cpu/foo/tasks #将当前的进程号写进这个文件中就能动态控制了，如果要控制多个进程的话，以添加模式写入此文件即可

当时在执行这个命令之前有一个疑问，就是我并没有创建上述几个文件，我只是创建了foo目录，实际上cgroups在你创建这个foo目录的时候已经帮你创建好了。

然后top的实时统计数据如下，cpu占用率将近50%，看来cgroups关于cpu的控制起了效果
[code="java"]# top

top - 22:16:18 up 1:55, 4 users, load average: 1.40, 1.21, 1.12
Tasks: 183 total, 2 running, 181 sleeping, 0 stopped, 0 zombie
Cpu(s): 52.5%us, 0.7%sy, 0.0%ni, 46.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 1020076k total, 929392k used, 90684k free, 165572k buffers
Swap: 1257468k total, 193008k used, 1064460k free, 211440k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3834 root 20 0 104m 1808 1012 R 49.9 0.2 2:24.99 t1.sh
[/code]
[size=large][b]cgroups管理进程内存资源[/b][/size]

模拟耗内存很多的脚本：
[code="java"]# cat t2.sh
#!/bin/bash

x="a";

while [ true ]
do
x=$x$x
done;
#
[/code]top看内存占用持续上升，直至内存耗尽（此处模拟了好几次，因此伤处脚本运行太快了，导致机器卡死了，所以就不贴出对应的结果了）
下面用cgroups控制这个进程的内存资源

mkdir -p /cgroup/memory/foo
echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes   #分配1MB的内存给这个控制组
echo 3865 > /cgroup/memory/foo/tasks #当前t2.sh运行时的进程id

[code="java"]# top

top - 22:29:10 up 2:08, 4 users, load average: 0.96, 1.16, 1.21
Tasks: 184 total, 1 running, 183 sleeping, 0 stopped, 0 zombie
Cpu(s): 2.2%us, 2.2%sy, 0.0%ni, 0.0%id, 94.5%wa, 0.7%hi, 0.4%si, 0.0%st
Mem: 1020076k total, 755616k used, 264460k free, 8812k buffers
Swap: 1257468k total, 543968k used, 713500k free, 189176k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3878 root 20 0 743m 129m 1020 D 4.3 13.0 0:19.92 t2.sh [/code]
从上述结果可以看出来，实际上t2.sh进程的运行状态已经不正常了（D），一会又是S，一会又是D，其实表明状态异常。
有人说时间长了，会被cgroups干掉，但是我模拟了好长时间都没有出现这个情况，仅仅是进程状态异常。
针对内存的配置里面有很多的配置文件如下：
[code="java"]# ls /cgroup/memory/foo/
cgroup.event_control memory.move_charge_at_immigrate
cgroup.procs memory.oom_control
memory.failcnt memory.soft_limit_in_bytes
memory.force_empty memory.stat
memory.limit_in_bytes memory.swappiness
memory.max_usage_in_bytes memory.usage_in_bytes
memory.memsw.failcnt memory.use_hierarchy
memory.memsw.limit_in_bytes notify_on_release
memory.memsw.max_usage_in_bytes tasks
memory.memsw.usage_in_bytes
#
[/code]
[size=large][b]cgroups管理进程io资源[/b][/size]

模拟一个耗io的脚本
[code="java"]# cat t3.sh
#!/bin/bash

dd if=/dev/sda of=/dev/null

#
[/code]
通过iotop看io占用情况，磁盘速度
[img]http://dl2.iteye.com/upload/attachment/0119/2560/c6dba795-03a4-3867-bc40-dbc6dd36ba10.png[/img]
下面用cgroups控制这个进程的io资源

mkdir -p /cgroup/blkio/foo

echo '8:0   1048576' >  /cgroup/blkio/foo/blkio.throttle.read_bps_device
#8:0对应主设备号和副设备号，可以通过ls -l /dev/sda查看
echo 4023 > /cgroup/blkio/foo/tasks

再通过iotop看，确实将读速度降到了1M/s（因为截图不太方便，所以图中的进程号对不上，不过不影响阅读）
[img]http://dl2.iteye.com/upload/attachment/0119/2562/35513fd5-0ef9-352d-90ae-a116fd097fee.png[/img]
跟cpu和memeory一样，io也有很多配置在/cgroup/blkio/foo/[code="java"]# ls /cgroup/blkio/foo/
blkio.io_merged blkio.sectors blkio.time
blkio.io_queued blkio.throttle.io_service_bytes blkio.weight
blkio.io_service_bytes blkio.throttle.io_serviced blkio.weight_device
blkio.io_serviced blkio.throttle.read_bps_device cgroup.event_control
blkio.io_service_time blkio.throttle.read_iops_device cgroup.procs
blkio.io_wait_time blkio.throttle.write_bps_device notify_on_release
blkio.reset_stats blkio.throttle.write_iops_device tasks
#
[/code]

参考：http://www.cnblogs.com/yanghuahui/p/3751826.html