Docker通过Cgroup 资源配置

一、Cgroup资源配置方法

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

• Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
• Cgroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘IO等等)的机制，被LXC、docker等很多项目用于实现进程资源控制。
• Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具体的资源管理是通过该功能来实现的。

cgroups有四大功能：

• 资源限制：可以对任务使用的资源总额进行限制。
• 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。
• 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。
• 任务控制： cgroup可以对任务 执行挂起、恢复等操作。

二、cpu时间片的概念

时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上：我们可以同时打开多个应用程序，每个程序并行不悖，同时运行。但在微观上：由于只有一个CPU，一次只能处理程序要求的一部分，如何处理公平，一种方法就是引入时间片，每个程序轮流执行。

三、对CPU使用的限制

1 .设置CPU使用率上限

Linux通过CFS （Completely Fair Scheduler， 完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS周期的有效范围是1ms ~ 1s， 对应的 --cpu-period 的数值范围是 1000 ~1000000 （单位微秒）。
而容器的CPU配额必须不小于1ms，即 --cpu-quota 的值必须 >= 1000。

（1）查看容器的默认CPU使用限制

#创建并启动容器
docker run -itd --name test1 centos:7 /bin/bash
#查看容器状态
docker ps -a

#切换到cgroup下针对容器的相关配置目录
cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# ls
46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280  cpu.cfs_quota_us
cgroup.clone_children                                             cpu.rt_period_us
cgroup.event_control                                              cpu.rt_runtime_us
cgroup.procs                                                      cpu.shares
cpuacct.stat                                                      cpu.stat
cpuacct.usage                                                     notify_on_release
cpuacct.usage_percpu                                              tasks
cpu.cfs_period_us
##切换到test1容器的目录
cd 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280
[root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# lscgroup.clone_children  cpuacct.usage         cpu.rt_period_us   notify_on_release
cgroup.event_control   cpuacct.usage_percpu  cpu.rt_runtime_us  tasks
cgroup.procs           cpu.cfs_period_us     cpu.shares
cpuacct.stat           cpu.cfs_quota_us      cpu.stat
##查看test1容器的CPU使用限额。即每个调度周期内可占用的CPU时间（单位：微秒）
[root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# cat cpu.cfs_quota_us
-1              #默认为-1，表示不限制
##查看CPU调度周期（单位：微秒）
[root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# cat cpu.cfs_period_us
100000              #单位微秒，即100毫秒，0.1秒

 #cpu.cfs_period_us：分配的周期（微秒，所以文件名中用u）,默认为100000。
 #cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。
 #cpu.cfs_quota_us 如果设为50000，表示占用 50000/100000=50%的CPU。

（2）进行压力测试

 [root@localhost ~]# docker exec -it test1 sh     #进入容器
 sh-4.2# vi /cpu.sh        #写个死循环脚本
 #!/bin/bash
 i=0
 while true
 do
    let i++
 done
 sh-4.2# chmod +x cpu.sh    #给脚本权限
 sh-4.2# ./cpu.sh           #运行脚本
 ​
 #再开一个终端，查看cpu.sh进程的cpu使用率
                 
[root@localhost ~]# top    #可以看到使用率接近100%
top - 23:25:04 up  3:09,  6 users,  load average: 0.79, 0.29, 0.14
Tasks: 242 total,   2 running, 240 sleeping,   0 stopped,   0 zombie
%Cpu(s): 12.3 us,  0.2 sy,  0.0 ni, 87.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3865308 total,  1268604 free,   843940 used,  1752764 buff/cache
KiB Swap:  8388604 total,  8388604 free,        0 used.  2613024 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND        
  7936 root      20   0   11688   1092    916 R 100.0  0.0   1:32.92 cpu.sh         
  6583 root      20   0 1255952  35324  14396 S   0.7  0.9   0:13.29 containerd     
     1 root      20   0   46188   6684   3908 S   0.0  0.2   0:06.07 systemd    
    
 #之后在容器中使用ctrl+c，停止脚本的执行，再top观察CPU使用率

（3）创建容器时设置CPU使用时间限制

 #创建容器test2，并限制CPU使用时间为50000微秒，表示最多占用50%的CPU。
 [root@localhost ~]# docker run -itd --name test2 --cpu-quota 50000 centos:7
WARNING: IPv4 forwarding is disabled. Networking will not work.
5c6b22bb9fbb5aef772ddf3e7314f1828d53a9b412606f65333c04018f5c0686
 #查看CPU限额文件
 [root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# ls
46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280  cpu.cfs_period_us
5c6b22bb9fbb5aef772ddf3e7314f1828d53a9b412606f65333c04018f5c0686  cpu.cfs_quota_us
cgroup.clone_children                                             cpu.rt_period_us
cgroup.event_control                                              cpu.rt_runtime_us
cgroup.procs                                                      cpu.shares
cpuacct.stat                                                      cpu.stat
cpuacct.usage                                                     notify_on_release
cpuacct.usage_percpu                                              tasks
 [root@localhost docker]# cd 5c6b22bb9fbb5aef772ddf3e7314f1828d53a9b412606f65333c04018f5c0686
[root@localhost 5c6b22bb9fbb5aef772ddf3e7314f1828d53a9b412606f65333c04018f5c0686]# cat cpu.cfs_quota_us
50000
 ​
 #登录容器test2，写个死循环脚本并运行
 [root@yuji ~]# docker exec -it test2 bash
 [root@5c6b22bb9fbb /]# vi /cpu.sh
 #!/bin/bash
 i=0
 while true
 do
  let i++
 done
 [root@5c6b22bb9fbb /]# chmod +x cpu.sh
 [root@5c6b22bb9fbb /]# ./cpu.sh 
 ​
 #再开一个终端，查看cpu使用率
 [root@localhost ~]# top
top - 23:37:33 up  3:21,  6 users,  load average: 0.16, 0.08, 0.12
Tasks: 242 total,   2 running, 240 sleeping,   0 stopped,   0 zombie
%Cpu(s):  6.2 us,  0.2 sy,  0.0 ni, 93.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3865308 total,  1257316 free,   853708 used,  1754284 buff/cache
KiB Swap:  8388604 total,  8388604 free,        0 used.  2602108 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND        
  8236 root      20   0   11688   1100    916 R  50.0  0.0   0:05.87 cpu.sh         
  6583 root      20   0 1255952  36424  14584 S   0.7  0.9   0:17.85 containerd     
  8245 root      20   0  157852   2356   1544 R   0.3  0.1   0:00.03 top     
 ​
 ​
 #容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。

（4）对已存在的容器进行CPU限制

直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件即可

 #进入test1容器目录，修改CPU使用时间限制
 [root@localhost ~]# docker ps
CONTAINER ID   IMAGE      COMMAND       CREATED        STATUS        PORTS     NAMES
5c6b22bb9fbb   centos:7   "/bin/bash"   10 hours ago   Up 10 hours             test2
46cea7bdef2f   centos:7   "/bin/bash"   11 hours ago   Up 11 hours             test1
[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker/
[root@localhost docker]# ls
46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280  cpu.cfs_period_us
5c6b22bb9fbb5aef772ddf3e7314f1828d53a9b412606f65333c04018f5c0686  cpu.cfs_quota_us
cgroup.clone_children                                             cpu.rt_period_us
cgroup.event_control                                              cpu.rt_runtime_us
cgroup.procs                                                      cpu.shares
cpuacct.stat                                                      cpu.stat
cpuacct.usage                                                     notify_on_release
cpuacct.usage_percpu                                              tasks
[root@localhost docker]# cd 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280/
 #修改CPU使用时间限制
 [root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# echo "33000" > cpu.cfs_quota_us 
[root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# cat cpu.cfs_quota_us 
33000

 ​
 #此时再进入test1容器执行之前创建好的脚本，进行压力测试
[root@localhost 46cea7bdef2fa182f09470959f763431e32c831ef6c6119ef39c7176436a7280]# docker exec -it test1 sh
sh-4.2# ./cpu.sh 
 ​
 #再开一个终端，查看cpu使用率
[root@localhost ~]# top 
top - 09:39:02 up  4:37,  8 users,  load average: 1.03, 0.58, 0.50
Tasks: 251 total,   3 running, 248 sleeping,   0 stopped,   0 zombie
%Cpu(s): 10.7 us,  0.8 sy,  0.0 ni, 88.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3865308 total,  1218932 free,   887168 used,  1759208 buff/cache
KiB Swap:  8388604 total,  8388604 free,        0 used.  2565520 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND        
  8236 root      20   0   11688   1100    916 R  50.0  0.0  38:01.58 cpu.sh         
 11017 root      20   0   11688   1096    916 R  37.5  0.0   0:02.23 cpu.sh       
 ​
 ​
 #容器的CPU使用时间限制设为33000，而调度周期为100000，表示容器占用33000/100000=33%的CPU。

2. 设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定CPU份额，默认值为1024，值为1024的倍数。

（1）创建两个容器，设置CPU资源占用比

 #先删除所有容器
 [root@localhost ~]# docker rm $(docker ps -aq) -f
5c6b22bb9fbb
46cea7bdef2f
 ​
 #创建两个容器为a1和a2
 #只有这2个容器的情况下，cpu资源分摊给这两个容器，512:1024等于1:2，一个占1/3，一个占2/3。
[root@localhost ~]# docker run -itd --name a1 --cpu-shares 512 centos:7
a4de4b8b9ac8a416ff58c097a030905faf1ce5ac6cd60cb1476f623d7449c121
[root@localhost ~]# docker run -itd --name a2 --cpu-shares 1024 centos:7
2e034437fda563e5bf588d21eb317dae225a3f5df498802cd0e2865a7b46ca4b
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED          STATUS          PORTS     NAMES
2e034437fda5   centos:7   "/bin/bash"   8 seconds ago    Up 7 seconds              a2
a4de4b8b9ac8   centos:7   "/bin/bash"   31 seconds ago   Up 30 seconds             a1

（2）分别进入两个容器，进行压力测试

 #宿主机开启路由转发功能，使容器能够连通外网
  echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
  sysctl -p
  net.ipv4.ip_forward = 1
 ​
 #进入c1容器，进行压力测试
 docker exec -it a1 bash
 yum install -y epel-release    #下载epel源
 yum install -y stress          #安装stress工具
 stress -c 4   #产生四个进程，每个进程都反复不停地计算随机数的平方根
 ​
 #进入a2容器，进行压力测试
 docker exec -it a2 bash
 yum install -y epel-release    #下载epel源
 yum install -y stress          #安装stress工具
 stress -c 4   #产生四个进程，每个进程都反复不停的计算随机数的平方根

 进入a1容器，进行压力测试：

 

 进入a2容器，进行压力测试：相同的操作开两个终端即可

（3）查看容器运行状态，观察CPU使用占比

 docker stats

 

3 设置容器绑定指定的CPU（绑核） 

注意：CPU编号从0开始。 编号1、3代表第二个核和第四个核 。

 #先为虚拟机分配4个CPU核数
 ​
 #创建容器c3时，绑定1号和3号这两个CPU
docker run -itd --name c1 --cpuset-cpus 1,3 centos:7 /bin/bash
 ​
 #进入容器，进行压力测试
 docker exec -it c1 bash
 yum install -y epel-release    #下载epel源
 yum install -y stress          #安装stress工具
 stress -c 4   #产生四个进程，每个进程都反复不停地计算随机数的平方根
 ​
 #退出容器，执行top命令再按1查看CPU使用情况
 top    #可以看到CPU1和CPU3占满，其他CPU使用率为0
 Tasks: 245 total,   5 running, 240 sleeping,   0 stopped,   0 zombie
%Cpu(s): 25.5 us,  0.7 sy,  0.0 ni, 73.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3865308 total,  1047552 free,   828488 used,  1989268 buff/cache
KiB Swap:  8388604 total,  8388604 free,        0 used.  2623036 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND               
  7905 root      20   0    7312    100      0 R  88.2  0.0   0:02.70 stress                
  7908 root      20   0    7312    100      0 R  35.3  0.0   0:07.64 stress                
  7906 root      20   0    7312    100      0 R  29.4  0.0   0:02.58 stress                
  7907 root      20   0    7312    100      0 R  29.4  0.0   0:02.58 stress      

 

四、对内存使用的限制

1 限制容器可以使用的最大内存

-m （或--memory=）选项用于限制容器可以使用的最大内存

 #-m(--memory=)选项用于限制容器可以使用的最大内存。
 ​
 #创建容器c4，并限制容器可以使用的最大内存为512m
[root@localhost ~]# docker run -itd --name a2 -m 512m centos:7 /bin/bash
eba89d8b214138d746ca6ead6f32a9ac3d421b86f1da3bb55339f4c207d7172b
 ​
 #查看容器状态，可以看到a2可以使用的最大内存是512M
[root@localhost ~]# docker stats

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O        BLOCK I/O     PIDS
eba89d8b2141   a2        0.00%     396KiB / 512MiB       0.08%     648B / 0B      0B / 0B       1
bc07d1376da3   c1        9.36%     203.9MiB / 3.686GiB   5.40%     35MB / 565kB   0B / 49.9MB   1

2 .限制容器可用的swap 大小

 #限制可用的swap 大小，--memory-swap
 ●强调一下， --memory-swap是必须要与 --memory（或-m）一起使用的。
 ●正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。
 ●所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。
 ​
 设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
 如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。
 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。

 #--memory-swap 的值包含容器可用内存和可用swap，减去-m的值才是可用swap的值。
 #表示容器可以使用512M的物理内存，并且可以使用512M的swap。因为1g减去512m的物理内存，剩余值才是可用swap。
 docker run -itd --name b1 -m 512m --memory-swap=1g centos:7 bash
 ​
 ​
 #--memoryswap值和 -m 的值相同，表示容器无法使用swap
 docker run -itd --name b2 -m 512m --memory-swap=512m centos:7 bash
 ​
 ​
 # --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
 docker run -itd --name b3 -m 512m centos:7 bash
 ​
 ​
 # --memory-swap 值为 -1，它表示容器程序使用的内存受限，但可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。
 docker run -itd --name b4 -m 512m --memory-swap=-1 centos:7 bash

 

五、对磁盘IO的配置控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
--device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
--device-read-iops :限制读某个设备的iops (次数)
--device-write-iops :限制写入某个设备的iops ( 次数)

 --device-read-bps:限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
 #表示该容器每秒只能读取1M的数据量
 ​
 --device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
 #表示该容器每秒只能写入1M的数据量
 ​
 --device-read-iops :限制读某个设备的iops (次数)
 --device-write-iops :限制写入某个设备的iops ( 次数)

1 创建容器，不限制写速度

 #创建容器tt01，不限制写入速度
 docker run -it --name tt01 centos:7 /bin/bash
 ​
 #通过dd来验证写速度，拷贝50M的数据
 dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct   #添加oflag参数以规避掉文件系统cache
 ​
 #创建容器tt01，不限制写入速度
[root@localhost ~]# docker run -it --name q1 centos:7 /bin/bash
 #通过dd来验证写速度，拷贝50M的数据到容器中
 [root@db84e448dfcf /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
#添加oflag参数以规避掉文件系统cache
 5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 0.0326432 s, 1.6 GB/s
 ​
 #没有限制写速度的情况下，写入很快，0.09秒的时间内已写入50M的数据，写入速度为553M/s。

 

2 创建容器，并限制写速度

 #创建容器，并限制写入速度为1MB/s，即每秒只能写入1MB的数据量。
 docker run -it --name q2 --device-write-bps /dev/sda:1mb centos:7 bash
 #通过dd来验证写速度，拷贝50M的数据到容器中
[root@c1c122737e7e /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
 #添加oflag参数以规避掉文件系统cache
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 50.0053 s, 1.0 MB/s
 ​
 #写入50M的数据，需要50s左右，因为限制了容器的写速度是 1.0 MB/s。

 

六、清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。

 #查看容器
 [root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED          STATUS                        PORTS     NAMES
c1c122737e7e   centos:7   "bash"        9 minutes ago    Exited (0) 2 seconds ago                q2
db84e448dfcf   centos:7   "/bin/bash"   12 minutes ago   Exited (130) 10 minutes ago             q1
20fa2afa8ea5   centos:7   "bash"        14 minutes ago   Up 14 minutes                           b1
eba89d8b2141   centos:7   "/bin/bash"   18 minutes ago   Up 18 minutes                           a2
bc07d1376da3   centos:7   "/bin/bash"   36 minutes ago   Up 36 minutes                           c1
 #清理磁盘，删除关闭的容器、无用的数据卷和网络。
 [root@localhost ~]#docker system prune -a
 WARNING! This will remove:                                   #提示
   - all stopped containers                                   #删除清理所有停止的容器
   - all networks not used by at least one container          #删除未被使用的网络
   - all images without at least one container associated to them  #未被使用的镜像
   - all build cache                                         #删除已建立的缓存
 ​
 Are you sure you want to continue? [y/N] y                #是否确定删除
 Deleted Containers:
 c1c122737e7edf35ff5b1798d399149143fc87d72fbde79e006a68a4147c7c07
db84e448dfcfe1484049494fe9a09c392af5e94f7700a70287a01afba7e04203
 ......
 Total reclaimed space: 104.9MB

 ​
 #再次查看容器，只剩下启动中的容器
 [root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED          STATUS          PORTS     NAMES
20fa2afa8ea5   centos:7   "bash"        16 minutes ago   Up 16 minutes             b1
eba89d8b2141   centos:7   "/bin/bash"   19 minutes ago   Up 19 minutes             a2
bc07d1376da3   centos:7   "/bin/bash"   37 minutes ago   Up 37 minutes             c1

 

总结

1.对cpu的限制参数

 docker run -cpu-period     #设置调度周期时间1000~1000000
            -cpu-quota      #设置容器进程的CPU占用时间，要与调度周期时间成比例
            --cpu-shares    #设置多个容器之间的CPU资源占用比
            --cpuset-cpus   #绑核（第一个CPU编号从0开始）

2.对内存的限制

 -m 物理内存 [--memory-swap=总值]

3.对磁盘IO的限制

 --device-read-bps 设备文件:1mb/1M     #限制读速度
 --device-write-bps 设备文件:1mb/1M    #限制写速度
 --device-read-iops                   #限制读次数
 --device-write-iops                  #限制写次数
 ​
 docker system prune -a    #清理磁盘，删除关闭的容器、无用的数据卷和网络。