Docker容器资源限制

Cgroup是什么

Cgroup 是 Control Groups 的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等)的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。这些具体的资源 管理功能称为 Cgroup 子系统，

Cgroup子系统功能

• blkio：设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及 usb 等等。
• CPU：使用调度程序为 cgroup 任务提供 CPU 的访问。
• cpuacct：产生 cgroup 任务的 CPU 资源报告。
• cpuset：如果是多核心的 CPU，这个子系统会为 cgroup 任务分配单独的 CPU 和 内存。
• devices：允许或拒绝 cgroup 任务对设备的访问。
• freezer：暂停和恢复 cgroup 任务。
• memory：设置每个 cgroup 的内存限制以及产生内存资源报告。
• net_cls：标记每个网络包以供 cgroup 方便使用。
• ns：命名空间子系统。
• perf_event：增加了对每个 group 的监测跟踪的能力，可以监测属于某个特定的 group 的所有线程以及运行在特定CPU上的线程。

使用 stress 工具测试 CPU

cpuz资源加权值测试

1、使用 Dockerfile 来创建一个基于 Centos 的 stress 工具镜像

[root@docker ~]# mkdir /opt/stress
[root@docker ~]# cd /opt/stress/
[root@docker stress]# vim Dockerfile
FROM centos:7
MAINTAINER wu
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
[root@docker stress]# docker build -t centos:stress .

2、查看镜像是否构建成功

[root@docker stress]# docker images 
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              stress              25441809b215        6 seconds ago       417MB
centos              7                   8652b9f0cb4c        2 weeks ago         204MB

3、创建两个容器进行对比
3.1、创建容器1

[root@docker stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
fd0abdfae80a        centos:stress       "stress -c 10"      11 seconds ago      Up 10 seconds                           cpu512
[root@docker ~]# docker exec -it fd0abdfae80a bash
[root@fd0abdfae80a /]# top

3.2、创建容器2

[root@docker ~]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS               NAMES
9f11e22f8ed0        centos:stress       "stress -c 10"      7 seconds ago        Up 6 seconds                            cpu1024
fd0abdfae80a        centos:stress       "stress -c 10"      About a minute ago   Up About a minute                       cpu512
[root@docker ~]# docker exec -it 9f11e22f8ed0 bash
[root@9f11e22f8ed0 /]# top

3.3、命令介绍

 stress stress -c 10：容器产生10个子函数进程

--cpu-shares

• 将此标志设置为大于或小于默认值 1024 的值，以增加或减少容器的重量，并使其可以访问主机的 CPU 周期的较大或较小比例。仅在 CPU 周期受限时才会强制执行此操作。当有足够的 CPU 周期时，所有容器都会根据需要使用尽可能多的 CPU 。这样，这是一个软限制。 --cpu-shares 不会阻止容器以群集模式进行调度。它为可用的 CPU 周期优先考虑容器 CPU 资源。它不保证或保留任何特定的 CPU 访问权限。
• 默认情况下，每个 Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的 CPU 加权的效果才能体现出来。
• 例如，两个容 器 A、B 的 CPU 份额分别为 1000 和 500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态， 实际上也无法保证容器 A一定能获得CPU时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的CPU资源。
• Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配 结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。可以通过 cpu share 可以设置容器使用 CPU 的优先级，比如启动了两个容器及运行查看 CPU 使用百分比。

CPU 周期限制

1、命令格式

[root@docker ~]# docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress

2、查看容器是否创建成功

[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
14f64758df8b        centos:stress       "/bin/bash"         5 seconds ago       Up 4 seconds                            trusting_galileo
[root@docker ~]#

3、进入容器内部查看是否生效

[root@docker ~]# docker exec -it 14f64758df8b bash
[root@14f64758df8b /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@14f64758df8b /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us  
200000
[root@14f64758df8b /]#

3.1、命令说明

• Docker 提供了–cpu-period、–cpu-quota 两个参数控制容器可以分配到的 CPU 时钟周期。
• –cpu-period 是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配
• –cpu-quota 是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
• 与 --cpu-shares 不同的是,这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。
• cpu-period 和 cpu-quota 的单位为微秒（μs）。cpu-period 的最小值为 1000 微秒， 最大值为 1 秒（10^6 μs），默认值为 0.1 秒（100000 μs）。
• cpu-quota 的值默认为 -1， 表示不做控制。cpu-period 和 cpu-quota 参数一般联合使用。
• 例如：容器进程需要每 1 秒使用单个 CPU 的 0.2 秒时间，可以将 cpu-period 设置 为 1000000（即 1 秒），cpu-quota 设置为 200000（0.2 秒）。当然，在多核情况下，如果允许容器进程完全占用两个 CPU，则可以将 cpu-period 设置为 100000（即 0.1 秒）， cpu-quota 设置为 200000（0.2 秒）。

CPU Core 控制

1、命令格式

[root@docker ~]# docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress 
#执行以上命令需要宿主机为双核，表示创建的容器只能用 0、1两个内核

2、查看容器是否创建成功

[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
8bba895fc335        centos:stress       "/bin/bash"         7 seconds ago       Up 6 seconds                            cpu1

3、进入容器查看是否设置成功

[root@docker ~]# docker exec -it 8bba895fc335 bash
[root@8bba895fc335 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus 
0-1

3.1、命令说明

• 对多核 CPU 的服务器，Docker 还可以控制容器运行使用哪些 CPU 内核，即使用–cpuset-cpus 参数。这对具有多 CPU 的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。
• 通过下面指令可以看到容器中进程与 CPU 内核的绑定关系，达到绑定 CPU 内核的目的。

CPU 配额控制参数的混合使用

创建两个容器对比测试
容器1设置
1、创建容器

[root@docker ~]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1

2、查看容器是否生成

[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
c81e3209ff9c        centos:stress       "stress -c 1"       4 seconds ago       Up 3 seconds                            cpu3
[root@docker ~]#

3、进入容器查看设置是否成功

[root@docker ~]# docker exec -it c81e3209ff9c bash
[root@c81e3209ff9c /]# top
#安装1可以查看cpu的个数

容器2设置
1、创建容器

[root@docker ~]# docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1

2、查看容器是否生成

[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS               NAMES
7e30159c82e5        centos:stress       "stress -c 1"       6 seconds ago        Up 5 seconds                            cpu4
c81e3209ff9c        centos:stress       "stress -c 1"       About a minute ago   Up About a minute                       cpu3
[root@docker ~]#

3、进入容器查看设置是否成功

[root@docker ~]# docker exec -it 7e30159c82e5 bash
[root@7e30159c82e5 /]# top
#安装1可以查看cpu的个数

内存限额

1、创建容器

[root@docker ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
#会自动下载一个

2、查看镜像是否生成

[root@docker ~]# docker images 
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              stress              25441809b215        About an hour ago   417MB
centos              7                   8652b9f0cb4c        2 weeks ago         204MB
progrium/stress     latest              db646a8f4087        6 years ago         282MB
[root@docker ~]#

3、查看容器是否生成

[root@docker ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS               NAMES
2646d37e44af        progrium/stress     "/usr/bin/stress --v…"   About a minute ago   Up About a minute                       bold_goldberg
[root@docker ~]# 

4、如果让工作线程分配的内存超过 设置最大内存会报错

[root@docker ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 325058560 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 0s

5、命令说明

• 与操作系统类似，容器可使用的内存包括两部分：物理内存和 Swap。
• Docker 通过下面两组参数来控制容器内存的使用量。
• -m 或 --memory：设置内存的使用限额，例如 100M、1024M。
• –memory-swap：设置 内存+swap 的使用限额。
• 执行如下命令允许该容器最多使用 200M 的内存和 300M 的 swap。
• –vm 1：启动 1 个内存工作线程。
• –vm-bytes 280M：每个线程分配 280M 内存。
• 默认情况下，容器可以使用主机上的所有空闲内存。
• 与 CPU 的 cgroups 配置类似， Docker 会自动为容器在目录 /sys/fs/cgroup/memory/docker/<容器的完整长 ID>中创建相应 cgroup 配置文
• 如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress 线程报错，容器 退出

Block IO 的限制

1、创建容器1

[root@docker ~]# docker run -it --name container_A --blkio-weight 600 centos:stress 

2、进入容器1查看设置是否创建成功

[root@2ac248a1af3a /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

1、创建容器1

[root@docker ~]# docker run -it --name container_B --blkio-weight 300 centos:stress

2、进入容器1查看设置是否创建成功

[root@6a484e3bfb35 /]# cat /sys/fs/cgroup/blkio/blkio.weight
300

3、命令说明

• 默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight 参数来改变 容器 block IO 的优先级。 --blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为 500。
• 在上面 的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍。

bps 和 iops 的限制

1、创建容器

[root@docker ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress

2、在容器里测试测试

[root@059d27c106b3 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct 
^C7+0 records in
7+0 records out
7340032 bytes (7.3 MB) copied, 1.40194 s, 5.2 MB/s
按ctrl+c终止操作可以查看设置的速度

3、命令说明

• bps 是 byte per second，每秒读写的数据量。
• iops 是 io per second，每秒 IO 的次数。
• 可通过以下参数控制容器的 bps 和 iops：
  –device-read-bps，限制读某个设备的 bps。
  –device-write-bps，限制写某个设备的 bps。
  –device-read-iops，限制读某个设备的 iops。
  –device-write-iops，限制写某个设备的 iops。
• 通过 dd 命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上 的，在容器中写文件相当于对 host /dev/sda 进行写操作。另外，oflag=direct 指定用 direct IO 方式写文件，这样 --device-write-bps 才能生效。