docker-cgroup资源管理

一、概述

1、Cgroup是 Control Groups的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘:io等等)的机制。
2、Docker通过cgroup来控制容器使用的资源配额，包括 CPO、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
3、cgroup是一种资源控制手段，也是容器隔离的6个名称空间的一种实现手段。
4、每个容器都是一个进程。

二、CPU使用率控制

1、CPU周期:1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)
2、假如需要给此容器分配CPU使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2sCPU。
3、在一个时刻，只能给一个进程占用。

一、使用stress工具测试CPU和内存

使用dockerfile创建一个基于centos的stress的工具镜像
[root@docker ~]# mkdir /opt/stress
[root@docker ~]# vim /opt/stress/Dockerfile
FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress

[root@docker ~]# cd /opt/stress/
[root@docker stress]# docker build -t centos:stress .

#使用如下命令创建容器，命令中的--cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的CPU资源，它仅是一个弹性的加权值。
[root@docker stress]# docker run -itd --cpu-shares 100 centos:stress
9bde7ca43bdf8a717634f1fa3d8903cf5497b4f3fa20da689f275aab520adf32
ps：默认情况下，每个Docker容器的CPU份额都是1024。
单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。可以通过cpu share可以设置容器便用CPU的优先级/权重，比如启动了两个容器及运行查看CPU使用百分比。

[root@docker stress]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #容器产生10个子函数进程，512的优先级
ea1bf2b7259c8aa3333c67b9af9c6f941c63f140a3299e0a2b24c310dd246dde
[root@docker stress]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #容器产生10个子函数进程，1024的优先级
2e386164117ae32001d4bf5f40c38f4598f5800aa546c441f3ac24b6dfde0b38

[root@docker stress]# docker stats #查看资源使用

二、CPU周期限制

• Docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
• cpu-period 是用来指定容器对CPU的使用要在多长时间内做一次重新分配。
• cpu-guota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。
• cpu-period和cpu-quota的单位为微秒(us)。cpu-period 的最小值为 1000微秒，最大值为1秒(10*6us) ，默认值为0.1秒(10000o us ) 。
• cpu-quota的值默认为-1，表示不做控制。cpu-period 和 cpu-gquota参数一般联合使用。

[root@docker stress]# cd /sys/fs/cgroup/cpu/docker/

[root@docker docker]# cat cpu.cfs_quota_us #查看cpu-quota值
-1
[root@docker docker]# cat cpu.cfs_period_us #查看cpu-period，默认刷新时间0.1s
100000
[root@docker docker]# docker run -itd --name centos_quota1 --cpu-period 100000 --cpu-quota 200000 centos:stress 
9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d
[root@docker docker]# cd 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d/
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_period_us
100000
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_quota_us
200000
#可以使用docker inspect centos_quota1查看

三、CPU Core控制

对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

[root@docker docker]# docker run -itd --name cpu --cpuset-cpus 0-1 centos:stress
89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae
[root@docker docker]# cd /sys/fs/cgroup/cpuset/docker/

[root@docker docker]# cd 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae/
[root@docker 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae]# cat cpuset.cpus
0-1

[root@docker ~]# docker exec 89412e981548 taskset -c -p 1 #容器内部第一个进程号pid为1被绑定到指定的CPU上运行
pid 1's current affinity list: 0,1

四、CPU配额控制参数的混合使用

• 通过cpuset-cpus 参数指定容器A使用CPU内核0，容器B只是用cPU内核1。
• 在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果。

[root@docker ~]# docker run -tid --name cpu1 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
dff4e26e7e683e892b1dec17bb322e9d3768eff07e8dab7f725c6b6ad61c7826
[root@docker ~]# top #按1查看每个核心的占用

[root@docker ~]# docker run -tid --name cpu2 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
df8a6b6f7c76c1e271672ee9421324275258cc82c60cb7912b7169c0afe07b13
[root@docker ~]# top

[root@docker ~]# docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 512 centos:stress stress -c 1
077cbf96ffff4138ae47f0675218edf16ba1027f61e039dcb4a98ff058f53455
[root@docker ~]# docker stats

五、内存限额

• 与操作系统类似，容器可使用的内存包括两部分：物理内存和 Swap
• Docker 通过下面两组参数来控制容器内存的使用量。
  • -m或–memory:设置内存的使用限额，例如100M、1024M。
  • –memory-swap:设置内存+swap的使用限额。

[root@docker ~]# docker run -it -m 200M --memory-swap=300M centos:stress
[root@docker ~]# docker run -itd centos:stress
[root@docker ~]# docker stats

两者对比：

六、Block IO限制

• 默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器block 1o的优先级。
• –blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。

[root@docker ~]# cd /sys/fs/cgroup/blkio/docker
[root@docker docker]# docker run -itd --name container_1 --blkio-weight 600 centos:stress
[root@docker docker]# docker run -itd --name container_2 --blkio-weight 300 centos:stress

七、bps和iops

• bps是byte per second，每秒读写的数据量。
• iops是io per second，每秒Io的次数。
• 可通过以下参数控制容器的bps 和iops：
  • –device-read-bps，限制读某个设备的bps。
  • –device-write-bps，限制写某个设备的bps。
  • –device-read-iops，限制读某个设备的iops。
  • –device-write-iops，限制写某个设备的iopso

#限制容器写/dev/sda的速率为5M/s
[root@docker ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@8126f23243c8 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 2.00367 s, 5.2 MB/s

#不限制
[root@docker ~]# docker run -it centos:stress
[root@ee204e652078 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0223384 s, 469 MB/s

八、构建镜像时指定镜像限制

选项	含义
–build-arg=[]	设置镜像创建时的变量
–cpu-shares	设置cpu使用权重
–cpu-period	限制cPU CFS周期
–cpu-quota	限制cPU CFS配额
–cpuset-cpus	指定使用的CPU id
–cpuset-mems	指定使用的内存id
–disable-content-trust	忽略校验，默认开启
-f	指定要使用的Dockerfile路径
–force-rm	设置镜像过程中删除中间容器
–isolation	使用容器l隔离技术
–label=[]	设置镜像使用的元数据
-m	设置内存最大值
–memory-swap	设置Swap的最大值为内存+swap，"-1"表示不限swap
–no-cache	创建镜像的过程不使用缓存
–pull	尝试去更新镜像的新版本
–quiet, -q	安静模式,成功后只输出镜像ID
–rm	设置镜像成功后删除中间容器
–shm-size	设置/dev / shm的大小，默认值是64M
–ulimit	Ulimit配置
–squash	将Dockerfile中所有的操作压缩为一层
–tag, -t	镜像的名字及标签，通常name :tag或者name格式;可以在一次构建中为一个镜像设置多个标签。
–network	默认default。在构建期间设置RUN指令的网络模式