Docker资源控制--Cgroup资源配置方法

前言

默认情况下容器是没有资源限制的，因为它本身就是一个进程，当一个容器占用太多资源的话，会对其他容器产生影响，所以 ，合理应该分配容器资源是作为管理员必须要关注的问题。

一、 Cgroup理论

Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。
Cgroup 子系统
blkio：设置限制每个块设备的输入输出控制；
cpu：使用调度程序为 cgroup 任务提供 cpu 的访问；
memory：设置每个 cgroup 的内存限制以及产生内存资源报告；
cpuacct：产生 cgroup 任务的 cpu 资源报告；
cpuset：如果是多核心的 cpu，这个子系统会为 cgroup 任务分配单独的 cpu 和内存；
devices：允许或拒绝 cgroup 任务对设备的访问；
freezer：暂停和恢复 cgroup 任务；
net_cls：标记每个网络包以供 cgroup 方便使用；
ns：命名空间子系统；
perf_event：增加了对每个 cgroup 的监测跟踪能力，可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程；

二、使用 stress 工具测试 CPU 和内存

1、stress工具介绍
stress 是Unix类系统下的工作量和压力测试工具。它将对用户指定的CPU数量的I/O，内存和硬盘的负载并报告它检测到任何错误。它用于自动压力测试和调试系统组件失败的唯一或更经常负荷时。它可以运行在x86，ppc64的，和PPC 32 GNU / Linux的，Tru64的，SPARC Solaris的，和其他平台。

2、使用 Dockerfile 来创建一个 stress 的工具镜像：
首先使用 Dockerfile 来创建一个基于 Centos 的 stress 的工具镜像

[root@localhost ~]# mkdir /opt/stress
[root@localhost ~]# cd /opt/stress/

[root@localhost stress]# vim Dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

[root@localhost stress]# docker build -t centos:stress .    创建镜像

三、案例

1、CPU弹性的加权值–cpu-shares

默认情况下，每个 Docker 容器的CPU的份额都是1024，单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的 CPU 加权的效果才能体现出来。
例如，两个容器 A、B 的CPU份额分别是 1000 和 500 ，在 CPU 进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器 A 一定能获得CPU 时间片。比如容器 A 的进程一直是空闲的，那么容器 B 是可以获取比容器 A 更多的 CPU 时间片。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

Cgroup 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。可以通过 cpu share 可以设置容器使用 CPU 的优先级。

//容器产生10个子函数进程：

docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10

//进入容器再使用top命令查看cpu使用情况：

docker exec -it cpu512 bash
top

1个容器，加权重没有意义

按 q 退出，
exit //退出整个容器

此时，我们可以再开启另外一个容器做比较：

docker run -tid --name cpu1024 --cpu-shares 1024  centos:stress stress -c 10

通过进入容器，观察两个容器的 %CPU，可以发现比例是 1:2

2、–cpu-period、–cpu-quota 控制容器 CPU 时钟周期

–cpu-period ：是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
–cpu-quota ：是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
与 --cpu-shares 不同的是。这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。
注意：
cpu-period 和 cpu-quota 的单位是微秒；
cpu-period 的最小值是1000微秒，最大值为1秒，默认值为0.1秒。
cpu-quota 的值默认是 -1 ，表示不做控制；
cpu-period 和 cpu-quota 参数一般联合使用。
容器进程需要每一秒使用单个 CPU 的0.2秒时间，可以将 cpu-period 设置为 1000000（即1秒），cpu-quota 设置为 200000（0.2秒）
当然，在多核情况下，如果允许容器进程完全占有两个 CPU，则可以将 cpu-period 设置为 100000（即0.1秒），cpu-quota 设置为 200000（0.2秒），cpu刷新是0.1秒间隔 那么我在你这使用了0.1秒后还有0.1秒怎么办，就让下一个cpu来处理

docker run -tid  --cpu-period  100000   --cpu-quota 200000 centos:stress

[root@190ac67fa49f /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us
100000
[root@190ac67fa49f /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
200000

3、–cpuset-cpus 控制cpu核心数

对于多核 CPU 的服务器，Docker 还可以控制容器运行使用哪些 CPU 内核，即使用 --cpuset-cpus 参数。这对具有多 CPU 的服务器尤其有用，可以对需要高性能计算的容器进行性能最优配置。

docker run -tid --name cpu8 --cpuset-cpus 0-1 centos:stress  stress -c 8
表示创建的容器只能使用0、1两个内核。 


[root@b8f48d2aa211 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1

通过下面指令可以看到容器中进程与 CPU 内核的绑定关系，达到 CPU 内核的目的：

docker exec 631eea630b21 taskset  -c  -p 1
//容器内部第一个进程号 pid为1，被绑定到指定CPU上运行。
[root@pc-4 ~]# docker exec  b8f48d2aa211 taskset -c  -p 1
pid 1's current affinity list: 0,1

4. --cpuset-cpus 指定核心数和 --cpu-shares 权重结合使用

[root@pc-4 ~]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1


[root@pc-4 ~]# docker exec -it cpu3 bash
[root@f656d43f964a /]# top

docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
docker exec -it   cpu4 bahs 
top

此时发现刚才分配的–cpu-shares权重毫无效果，说明在不同cpu核心之间的权重是不生效的，默认全部跑满

5、内存限额

与操作系统类似，容器可使用的内存包括两部分：物理内存 和 Swap；

docker 通过下面两组参数来控制容器内存的使用量：

-m 或 --memory：设置内存的使用限额，例如 100M、1024M；
–memory-swap：设置内存 +swap 的使用限额。
例如：执行如下命令允许该容器最多使用 200M的内存，300M 的swap：

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
// --vm 1：启动1个内存工作线程；
   --vm-bytes 280M ：每个线程分配280M内存；
   -m：设置内存限制为200M
   -memory-swap：设置内存加swap的使用限额

如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress线程报错，容器退出：
内存限额

限额之内 运行正常

[root@pc-4 ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
Unable to find image 'progrium/stress:latest' locally
7d04a4fe1405: Pull complete
1775fca35fb6: Pull complete
5c319e267908: Pull complete
Digest: sha256:e34d56d60f5caae79333cee395aae93b74791d50e3841986420d23c2ee4697bf
Status: Downloaded newer image for progrium/stress:latest
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 293601280 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: dbug: [6] freed 293601280 bytes
stress: dbug: [6] allocating 293601280 bytes ...
stress: FAIL: [1] (452) failed run completed in 45s

超出限额，报错 ，自动退出
[root@pc-4 ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 325058560 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 1s

6、Block IO 的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。

–blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500
在下面的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍：

[root@pc-4 ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@b8b235921f7f /]# cat /sys/fs/cgroup/blkio/blkio.weight
600
root@pc-4 ~]# docker run -it --name container_B --blkio-weight 300 cento
[root@49b707c5fe53 /]#  cat /sys/fs/cgroup/blkio/blkio.weight
300

7、bps 和 iops 的限制

bps ：是 byte per second，每秒读写的数据量；

iops ：是 io per second，每秒 IO 的次数；

可以通过以下的参数来控制 bps 和 iops：

device-read-bps：限制读某个设备的 bps；
device-write-bps：限制写某个设备的 bps；
device-read-iops：限制读某个设备的 iops；
device-write-iops：限制写某个设备的 iops。
例如：
限制容器 写 /dev/sda 磁盘的速率为 5MB/s：

//   direct：读写数据采用直接IO方式  bs 数据块大小为1m  count个数为1024个
进行写速度 5M的限制
[root@pc-4 ~]#  docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@bb60f4805f90 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C625+0 records in
625+0 records out
655360000 bytes (655 MB) copied, 125.005 s, 5.2 MB/s
没有经过写速度限制
[root@pc-4 ~]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
记录了1024+0 的读入
记录了1024+0 的写出
1073741824字节(1.1 GB)已复制，0.672765 秒，1.6 GB/秒
[root@pc-4 ~]#