Docker的资源控制管理
CPU 资源控制
cgroups，是一个非常强大的linux内核工具，他不仅可以限制被 namespace 隔离起来的资源， 还可以为资源设置权重、计算使用量、操控进程启停等等。 所以 cgroups（Control groups）实现了对资源的配额和度量。
cgroups有四大功能：
●资源限制：可以对任务使用的资源总额进行限制
●优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级
●资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等
●任务控制：cgroup可以对任务执行挂起、恢复等操作
设置CPU使用率上限
Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。
[root@docker01 apache]# docker run -itd --name test5 centos:7 /bin/bash
b201bfb8ba306ea427391e958171344a711669dff0e3fe5b4f9c488adf6c5dd3
[root@docker01 apache]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b201bfb8ba30 centos:7 "/bin/bash" 37 seconds ago Up 35 seconds test5
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 23 hours ago Up 23 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 23 hours ago Up 23 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 23 hours ago Exited (127) 23 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 23 hours ago Created dazzling_wescoff
[root@docker01 apache]# cd /sys/fs/cgroup/cpu/docker/
[root@docker01 docker]# ls
55d1507297fa970885698e4b85ea096bfd146598c809951c5bc927e457a4f6c2
b201bfb8ba306ea427391e958171344a711669dff0e3fe5b4f9c488adf6c5dd3
buildkit
cgroup.clone_children
cgroup.event_control
cgroup.procs
cpuacct.stat
cpuacct.usage
cpuacct.usage_percpu
cpu.cfs_period_us
cpu.cfs_quota_us
cpu.rt_period_us
cpu.rt_runtime_us
cpu.shares
cpu.stat
f03db882f1c9d269fc45cf9ede3e2dcd3f7b8ba11e6962f4f6824c7726ddd68f
notify_on_release
tasks
[root@docker01 docker]# cd /sys/fs/cgroup/cpu/docker/b201bfb8ba306ea427391e958171344a711669dff0e3fe5b4f9c488adf6c5dd3/
[root@docker01 b201bfb8ba306ea427391e958171344a711669dff0e3fe5b4f9c488adf6c5dd3]# ls
cgroup.clone_children cpuacct.stat cpu.cfs_period_us cpu.rt_runtime_us notify_on_release
cgroup.event_control cpuacct.usage cpu.cfs_quota_us cpu.shares tasks
cgroup.procs cpuacct.usage_percpu cpu.rt_period_us cpu.stat
[root@docker01 b201bfb8ba306ea427391e958171344a711669dff0e3fe5b4f9c488adf6c5dd3]# cat cpu.cfs_quota_us cpu.cfs_period_us
-1
100000
---------------------------------------------------------------------------------------------------------
#cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。
#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。
---------------------------------------------------------------------------------------------------------
进行CPU压力测试
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b201bfb8ba30 centos:7 "/bin/bash" 12 minutes ago Up 12 minutes test5
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 23 hours ago Up 23 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 23 hours ago Up 23 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 23 hours ago Exited (127) 23 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 24 hours ago Created dazzling_wescoff
[root@docker01 ~]# docker exec -it b201bfb8ba30 /bin/bash
[root@b201bfb8ba30 /]# vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
[root@b201bfb8ba30 /]# chmod +x /cpu.sh
[root@b201bfb8ba30 /]# ./cpu.sh
top #可以看到这个脚本占了很多的cpu资源
配置CPU使用率
#设置50%的比例分配CPU使用时间上限
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh
top #可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果
设置CPU资源占用比（设置多个容器时才有效）
Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。
创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 23 hours ago Up 23 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 23 hours ago Up 23 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 24 hours ago Exited (127) 23 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 24 hours ago Created dazzling_wescoff
[root@docker01 ~]# docker run -itd --name c1 --cpu-shares 512 centos:7
6365badeab14564653f67934a39a33823f57b57237b0a52f64ecd8b77b9858f7
[root@docker01 ~]# docker run -itd --name c2 --cpu-shares 1024 centos:7
8050bda93e3c10344a3f15860bfade477ca65c54b234191b2b528b7f741cbe5b
分别进入容器，进行压力测试
[root@docker01 ~]# yum install -y epel-release
[root@docker01 ~]# yum install -y stress
[root@docker01 ~]# stress -c 4
#产生四个进程，每个进程都反复不停的计算随机数的平方根
#查看容器运行状态（动态更新）
docker stats
设置容器绑定指定的CPU
[root@docker01 ~]# docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash
#先分配虚拟机4个CPU核数
#进入容器，进行压力测试
[root@docker01 ~]# yum install -y epel-release
[root@docker01 ~]# yum install stress -y
[root@docker01 ~]# stress -c 4
#退出容器，执行 top 命令再按 1 查看CPU使用情况。
对内存使用的限制
限制容器可以使用的最大内存
[root@docker01 ~]# docker run -itd --name test8 -m 512m centos:7 /bin/bash
## -m(--memory=) 选项用于限制容器可以使用的最大内存
7d3bfdee8adbce393460185ccbf3b7122fb8f5e704144be02211c856b3cf2428
[root@docker01 ~]# docker stats
创建指定物理内存和swap的容器
强调一下，–memory-swap 是必须要与 --memory 一起使用的。
正常情况下，–memory-swap 的值包含容器可用内存和可用 swap。
所以 -m 300m --memory-swap=1g 的含义为：容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。
如果 --memory-swap 设置为 0 或者 不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）。
[root@docker01 ~]# docker run -itd --name gxd7 -m 512m --memory-swap 1g centos:7 /bin/bash
## 限制可用的 swap 大小， --memory-swap
[root@docker01 ~]# docker stats
对磁盘IO配额控制（blkio）的限制
设置限制项
–device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
–device-write-bps ： 限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
–device-read-iops ：限制读某个设备的iops（次数）
–device-write-iops ：限制写入某个设备的iops（次数）
创建容器，并限制写速度
[root@docker01 ~]# docker run -itd --name gxd8 --device-write-bps /dev/sda:1MB centos:7 bash
db1e17d640932b80e73e10d16bc1271b746baa207112e5e70e6e38926332334f
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
db1e17d64093 centos:7 "bash" 9 seconds ago Up 8 seconds gxd8
2bbe6d1d46f5 centos:7 "/bin/bash" About a minute ago Up About a minute gxd7
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 24 hours ago Up 24 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 24 hours ago Up 24 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 24 hours ago Exited (127) 24 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 24 hours ago Created dazzling_wescoff
通过dd来验证写速度
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
db1e17d64093 centos:7 "bash" About a minute ago Up About a minute gxd8
2bbe6d1d46f5 centos:7 "/bin/bash" 2 minutes ago Up 2 minutes gxd7
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 24 hours ago Up 24 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 24 hours ago Up 24 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 24 hours ago Exited (127) 24 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 24 hours ago Created dazzling_wescoff
[root@docker01 ~]# docker exec -it db1e17d64093 bash
## 进入容器
[root@db1e17d64093 /]# dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct
#添加oflag参数以规避掉文件系统cache
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0026 s, 1.0 MB/s
清理docker占用的磁盘空间
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
db1e17d64093 centos:7 "bash" 3 minutes ago Up 3 minutes gxd8
2bbe6d1d46f5 centos:7 "/bin/bash" 4 minutes ago Up 4 minutes gxd7
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 24 hours ago Up 24 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 24 hours ago Up 24 hours elegant_yalow
048ef3f5bf35 centos:7 "/bin/bash" 24 hours ago Exited (127) 24 hours ago nifty_greider
2154c8b190f0 nginx:latest "/docker-entrypoint.…" 24 hours ago Created dazzling_wescoff
[root@docker01 ~]# docker system prune -a
WARNING! This will remove:
- all stopped containers
- all networks not used by at least one container
- all images without at least one container associated to them
- all build cache
Are you sure you want to continue? [y/N] y
Deleted Containers:
048ef3f5bf35ad277514992b28c73eee891e2cb8aaacdfaec68e9f28472c67e8
2154c8b190f0284bd0b2b2733f642a1228b78f9720d428952fd8ea0076e8bbad
Deleted Images:
untagged: dockerbmm/nginx:web
untagged: dockerbmm/nginx@sha256:f2fee5c7194cbbfb9d2711fa5de094c797a42a51aa42b0c8ee8ca31547c872b1
untagged: nginx:latest
untagged: nginx@sha256:63b44e8ddb83d5dd8020327c1f40436e37a6fffd3ef2498a6204df23be6e7e94
deleted: sha256:6efc10a0510f143a90b69dc564a914574973223e88418d65c1f8809e08dc0a1f
deleted: sha256:a489ce38666d5aff5d73930d115381b154a503b48c5534357d5183160f5b9bfa
deleted: sha256:ce2a611250a8bb55b73959de5865489d566bf48e1342c74b46b107e9a224370e
deleted: sha256:fa6c51798227fd451cc3ff628c46c1b62c0d1d08e43374be7000c78ad910c0c0
deleted: sha256:c426467d564c8684df87356eb045dc50d8b5af9521e9775c1b6bb941135680de
deleted: sha256:c6deada06ccd386201e5b95c38e19297cd3eeb5264d6413d9cc7441020816401
deleted: sha256:ed7b0ef3bf5bbec74379c3ae3d5339e666a314223e863c70644f7522a7527461
Deleted build cache objects:
gfmb6jh14j2egpjycho00pi3m
fyzpzreo5bfp4yeqh2phbhcxh
6yqf3dbsf9zj76gnv4rf3l4t6
hw2z8d7dnst3zls7ln0dduuso
q9m2pofkhu36nevolmntvt97i
hs6hqgknykiinwo4mafja0s1n
Total reclaimed space: 656.4MB
[root@docker01 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
db1e17d64093 centos:7 "bash" 4 minutes ago Up 4 minutes gxd8
2bbe6d1d46f5 centos:7 "/bin/bash" 5 minutes ago Up 5 minutes gxd7
f03db882f1c9 httpd:centos "/usr/sbin/apachectl…" 24 hours ago Up 24 hours 0.0.0.0:1314->80/tcp, :::1314->80/tcp practical_meninsky
55d1507297fa nginx:centos "bash" 24 hours ago Up 24 hours elegant_yalow
297
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
