Docker Cgroups资源控制管理

---

一、Cgroups简介

1、什么是Cgroups

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

2、cgroups有四大功能

• 资源限制：可以对任务使用的资源总额进行限制。
• 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。
• 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。
• 任务控制： cgroup可以对任务 执行挂起、恢复等操作。

---

二、对CPU使用的限制

1、查看容器的默认CPU使用限制

• Linux通过crs（Completely Fair scheduler，完全公平调度器）来调度各个进程对CPU的使用。crs默认的调度周期是100ms。
• 我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
• 使用–cpu-period 即可设置调度周期，使用–cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
  CFS周期的有效范围是1ms～1s，对应的–cpu-period 的数值范围是1000~1000000。
• 而容器的CPU配额必须不小于1ms，即–cpu-quota的值必须>=1000。

#拉取镜像
[root@localhost ~]# docker pull centos:7
7: Pulling from library/centos
2d473b07cdd5: Pull complete 
Digest: sha256:9d4bcbbb213dfd745b58be38b13b996ebb5ac315fe75711bd618426a630e0987
Status: Downloaded newer image for centos:7
docker.io/library/centos:7

#创建并启动容器
[root@localhost ~]# docker run -itd --name test1 centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21

查看容器状态
[root@localhost ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
85d498edea44        centos:7            "/bin/bash"         12 seconds ago      Up 11 seconds                           test1

#切换到cgroup下针对容器的相关配置目录
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# cd 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21

#查看test1容器的CPU使用限额，默认为-1，表示不限制
[root@localhost 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21]# cat cpu.cfs_quota_us
-1

#查看CPU调度周期（单位：微秒）
[root@localhost 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21]# cat cpu.cfs_period_us
100000			#即100毫秒，0.1秒

2、进行压力测试

#进入容器
docker exec -it test1 bash 
#写个死循环脚本
vi /cpu.sh
#!/bin/bash
 i=0
 while true
 do
    let i++
 done

#给脚本权限
chmod +x cpu.sh

#运行脚本
./cpu.sh

#查看cpu.sh进程的cpu使用率
top

3、创建容器并进行限制

#创建容器test2，并限制CPU使用时间为50000微秒，表示最多占用50%的CPU。
[root@localhost ~]# docker run -itd --name test2 --cpu-quota 50000 centos:7
WARNING: IPv4 forwarding is disabled. Networking will not work.
da7acce6d35ee0da275806a4c11091ccb879f40f3e1828f9959068bee60dc86e

#查看CPU限额文件
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# cd da7acce6d35ee0da275806a4c11091ccb879f40f3e1828f9959068bee60dc86e
[root@localhost da7acce6d35ee0da275806a4c11091ccb879f40f3e1828f9959068bee60dc86e]# cat cpu.cfs_quota_us
50000
 ​
#登录容器test2，写个死循环脚本并运行
[root@localhost da7acce6d35ee0da275806a4c11091ccb879f40f3e1828f9959068bee60dc86e]# docker exec -it test2 bash
[root@da7acce6d35e /]# vi /cpu.sh
#!/bin/bash
i=0
while true
do
 let i++
done
[root@da7acce6d35e /]# chmod +x cpu.sh
[root@da7acce6d35e /]# ./cpu.sh 
​
top​
​#容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。

4、对已存在的容器进行CPU限制

直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件即可

#进入test1容器目录，修改CPU使用时间限制
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21

#修改CPU使用时间限制
[root@localhost 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21]# echo "33000" >cpu.cfs_quota_us
[root@localhost 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21]# cat cpu.cfs_quota_us
33000
[root@localhost 85d498edea44a951a2895d58dab1c8687765b88a68a6a6940e21eeab5a9ffa21]# docker exec -it test1 bash
[root@85d498edea44 /]# ./cpu.sh

#另外开一台终端
top 

---

三、对内存使用的限制

1、限制容器可以使用的最大内存

#-m(--memory=)选项用于限制容器可以使用的最大内存。
 ​
#创建容器c4，并限制容器可以使用的最大内存为512m
docker run -itd --name c4 -m 512m centos:7 /bin/bash

#查看容器状态
docker stats

2、限制容器可用的swap大小

--memory-swap :限制可用的swap大小

#强调一下，--memory-swap是必须要与--memory一起使用的。
#正常情况下，--memory-swap的值包含容器可用内存和可用swap。
#所以-m 300m --memory-swap=1g的含义为：容器可以使用300M的物理内存，并且可以使用700M（1G-300）的swap。
#如果--memory-swap 设置为0或者不设置，则容器可以使用的swap大小为-m值的两倍。
#如果--memory-swap 的值和-m值相同，则容器不能使用swap。
#如果--memory-swap值为-1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap容器就可以使用多少）。

---

四、对磁盘IO配额控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb（M）或者gb。

例：
docker run -itd --name test6 --device-read-bps /dev/sda:1mb centos:7 /bin/bash
--device-write-bps：限制某个设备上的写速度bps（数据量），单位可以是kb、mb（M）或者gb。

例：
docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
--device-read-iops：限制读某个设备的iops（次数）
--device-write-iops：限制写入某个设备的iops（次数）

1、创建容器，并限制写速度

docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
docker exec -it c6 bash

#通过dd命令来验证写的速度
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct

---

五、清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。

docker ps -a
docker system prune -a
docker ps -a