目录
Cgroups介绍
docker使用cgroup控制资源，K8S里面也有limit（使用上限）
Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制
Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源（如CPU、内存、磁盘、io等等）的机制，07年谷歌可以控制资源分配，通过操作系统内核，控制应用程序的内存资源、cpu资源、文件系统资源等等
cgroup是一种资源控制手段，也是容器隔离的6个名称空间的一种实现手段，每个容器相当于一个进程
cpu使用率控制
cpu周期:1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)假如需要给此容器分配opu使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2scpu在一个时刻，只能给一个进程占用
利用stress压力测试工具来测试CPU 和内存使用状况
使用Dockerfile来创建一个基于centos 的stress工具镜像。
首先创建一个stress的目录，编写dockerfile
[root@localhost /opt]# ls
containerd rh stress
[root@localhost /opt]# cd stress/
[root@localhost /opt/stress]# ls
Dockerfile
[root@localhost /opt/stress]# cat Dockerfile
FROM centos:7
RUN yum install wget -y
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
构建镜像
[root@localhost /opt/stress]# docker build -t centos:stress .查看镜像
[root@localhost /opt/stress]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos stress 5218f2df495c 6 days ago 552MB
centos 7 eeb6ee3f44bd 4 months ago 204MB
运行容器
[root@localhost /opt/stress]# docker run -itd --name stress_v1 --cpu-shares 100 centos:stress
ed6bbcc03ec9b9985d3c414099d921164edbd54d8713f77feca74c28c7a4f6a4
[root@localhost /opt/stress]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ed6bbcc03ec9 centos:stress "/bin/bash" 3 seconds ago Up 3 seconds stress_v1
命令中的--cpu-shares参数值不能保证可以获得1个cpu或者多少GHz的cPU资源，它仅是一个弹性的加权值。，相当于nginx中的upstream池中的weight。
此时查看docker的状态是看不出来啥
说明
默认情况下，每个
Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU 份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得cPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。一个主机运行一个容器，只运行了一个应用（容器也是虚拟化技术)
一个主机运行一个应用Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的cPu份额来确定有多少cPU资源分配给它，资源分配结果取决于同时运行的其他容器的cPU分配和容器中进程运行情况。
可以通过 cpu share可以设置容器使用CPU 的优先级/权重，比如启动了两个容器及运行查看CPU使用百分比。[root@localhost ~]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 408c629ab405172c25ca7de51ac8135821c5ac2cbc3a2f5400586b7a2133847e [root@localhost ~]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 bf9cb00a5658dd4ba30e0c079183b980c8cc8632ca0e393bf1603aa8904e980f
-c代表开启几个进程同时工作，可以看到两个cpu的比例接近1：2
cpu周期限制
Docker 提供了--cpu-period、--cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
--cpu-period是用来指定容器对cPU的使用要在多长时间内做一次重新分配。
查看cpu周期（一秒）
[root@localhost /sys/fs/cgroup/cpu/docker]# cat cpu.cfs_period_us
100000
查看限额（-1不受限制）
[root@localhost /sys/fs/cgroup/cpu/docker]# cat cpu.cfs_quota_us
-1
宿主机怎么提供资源、怎么控制docker容器中的应用的
CPU --->VCPU-->以进程的方式体现在workstation环境(docker环境中）---》docker表现形式是容器-->Vcpu以进程的方式控制容器--》容器中的应用需要的是服务进程支持--》宿主机内核中cpu可以被cgroup管理(通过分配资源手段)--》linux内核中的cgroup可以直接控制VCPU的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也
可以认为Cgroups在直接/间接管理docker容器中的应用--cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与--cpu-shares不同的是,这种配置是指定一个绝对值，容器对cPU资源的使用绝对不会超过配置的值。
cpu-period和 cpu-quota的单位为微秒(us)。cpu-period的最小值为 1000微秒，最大值为1秒(10^6us） ，默认值为0.1 秒(100000 us)
cpu-quota 的值默认为-1，表示不做控制。cpu-period和cpu-quota参数一般联合使用。
redis 中，用来表示的永久-1
例如:容器进程需要每1秒使用单个CPU的 0.2秒时间，可以将cpu-period 设置为100000(即1秒) , cpu-quota设置为20000 (0.2秒)。
当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 10000(即 0.1秒)，cpu-quota 设置为20000 (0.2秒）。
[root@localhost /sys/fs/cgroup/cpu/docker]# docker run -tid --cpu-period 100000 --cpu-quota 20000 centos:st ress
02a44286fcbfe56ba52d3c4c5567f18a874d2abb0650af9d8a7292e846629757
查看容器的cpu限制以及周期，可以看到我们设置的完全一致
CPU Core控制
对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用--cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。
[root@localhost ~]# docker run -tid --name cpu1 --cpuset-cpus 0-1 centos:stress执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的 cgroup 的 cPU内核配置如下
[root@localhost /sys/fs/cgroup/cpuset/docker/a1d13b5941891da666d731f7de7a5df3377fa50147d4f832528dfc13145a210c]# cat cpuset.cpus
0-1
CPU 配额控制参数的混合使用
通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。
cpuset-cpus、 cpuset-mems参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个cPU内核的情况下，需要通过 cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。
//宿主系统修改为4核心CPU
[root@localhost ~]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
fa4b54e8313a77f5a4d246194a725318545bc590d4ce285c2f2de57a816ee1c6
小结
Cgroups控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vw中进程资源—》docker容器的资源—》docker容器内应用的资源控制的主体包括:CPU 、内存、I/o主要介绍的是CPU资源的控制
而CPU资源控制的方式主要有:
cpu-shares权重指的是多个容器使用同一个CPU的情况下，被分配到CPU资源的机会占比
cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指定
cpuset-cpus指定容器，仅能使用指定的CPU，按照CPU的下标来表示
内存限额
与操作系统类似，容器可使用的内存包括两部分:物理内存和SwapoDocker通过下面两组参数来控制容器内存的使用量。
-m或--memory:设置内存的使用限额，例如100M、1024M.
--memory-swap:设置内存+swap 的使用限额。
执行如下命令允许该容器最多使用200M的内存和300M的swap。
[root@localhost ~]# docker run -itd -m 200M --memory-swap=300M centos:stress
ab5ba1b39e8a1ed37eb2dd8ddb55dc871d3c63b016cc5698b8d443d8bdad4ed2
查看资源
可以看到limit硬限制就200m了，如果我们随便创建一个看看
[root@localhost ~]# docker run -itd --name test01 centos:stress /bin/bash
0700a41f26453769f667dee58034ee4b28c7474e3365835366a59454d11970c6
不做限制的话是有将近8个g可供我们使用
--vm 1:启动1个内存工作线程。
--vm-bytes 280M:每个线程分配280M内存。
默认情况下，容器可以使用主机上的所有空闲内存。与CPU的cgroups配置类似,Docker 会自动为容器在目录/sys/fs/ogroup/memory/docker/<容器的完整长 ID>中创建相应cgroup 配置文件，如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress线程报错，容器退出。
[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [7] forked
stress: dbug: [7] allocating 325058560 bytes ...
stress: dbug: [7] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 7 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 2s
Block io的限制
默认情况下，所有容器能平等地读写磁盘，可以通过设置--blkio-weight参数来改变容器 block Io 的优先级。--blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500.
[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@1b6fe95e76f5 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600
[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@2aa5211e79eb /]# cat /sys/fs/cgroup/blkio/blkio.weight
300
容器A读写磁盘的带宽是容器B的两倍。
bps 和iops 的限制
bps 是byte per second，每秒读写的数据量。
iops 是io per second，每秒Io 的次数(流)。
可通过以下参数控制容器的bps和iops:--device-read-bps，限制读某个设备的bps。
--device-write-bps，限制写某个设备的bps。
--device-read-iops，限制读某个设备的iops。
--device-write-iops，限制写某个设备的iops。
限制容器写/dev/sda 的速率为5 MB/s。
[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@ab9abc0fd062 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C26+0 records in
26+0 records out
27262976 bytes (27 MB) copied, 5.20111 s, 5.2 MB/s
通过 dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的，
在容器中写文件相当于对host /dev/sda进行写操作。另外，oflag=direct指定用direct To方式写文件，这样--device-write-bps 才能生效。
结果表明限速5MB/s左右。作为对比测试，如果不限速，结果如下。
[root@localhost ~]# docker run -it centos:stress
[root@30d22ae5edb1 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.830765 s, 1.3 GB/s
构建镜像( docker build）时指定资源限制
| --build-arg=[] | 设置镜像创建时的变量; |
| --cpu-shares | 设置cpu使用权重 |
| --cpu-period | 限制cPU cFS周期 |
| --cpu-quota | 限制cPU CFS配额 |
| --cpuset-cpus | 指定使用的CPU id |
| --cpuset-mems | 指定使用的内存id |
| --disable-content-trust | 忽略校验，默认开启 |
| -f | 指定要使用的Dockerfile路径 |
| --force-rm | 设置镜像过程中删除中间容器 |
| --isolation | 使用容器隔离技术 |
| --label=[] | 设置镜像使用的元数据 |
| -m | 设置内存最大值 |
| --memory-swap | 设置Swap的最大值为内存+swap, "-1"表示个限swap |
| --no-cache | 创建镜像的过程不使用缓存 |
| --pull | 尝试去更新镜像的新版本 |
| --quiet, -q | 安静模式，成功后只输出镜像id |
| --rm | 设置镜像成功后册除中间容器 |
| --shm-size | 设置/dev/shm的大小，默认值是64M |
| --ulimit | Ulimit配置 |
| --squash | 将Dockerfile中所有的操作压缩为一层 |
| --tag, -t: | 镜像的名字及标签，通常name : tag或者name |
| 格式 | 可以在一次构建中为一个镜像设置多个标签 |
| --network | 默认default。在构建期间设置RUN指令的网络模式 |
总结
一、资源限制的主要类型
1、CPU权重shares、quota、cpuset（周期cpu-period)
2、磁盘:BPS、TPS限制，指定使用哪个磁盘、磁盘分区
3、内存-m -swap 内存、交换分区大部分做的是上限的限制
二、资源限制的几种方式
1、build 构建镜像时，可以指定该镜像的资源限制
2、run将镜像跑为容器的时候，可以指定容器的资源限制
3、容器启动之后，可以在宿主机(容器资源限制目录下进行限制)对应容器的目录下。修改资源限制，然后重载/sys/fs/ cgroup/* (cpu、blk、mem)/docker/容器ID/--->修改对应的资源限制文件参数就可以
三、资源限制的状态查询
1、docker inspect镜像ID/容器IDdocker stats
2、直接查看宿主机对应容器ID资源限制的文件，cgroup资源docker原理之一 , namespaces 6个名称空间
扫一扫
951
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
