Cgroups资源配置方法

目录

Cgroups介绍

cpu使用率控制

                利用stress压力测试工具来测试CPU 和内存使用状况

         cpu周期限制

         CPU Core控制

        CPU 配额控制参数的混合使用

                小结

内存限额

Block io的限制

bps 和iops 的限制

        构建镜像( docker build）时指定资源限制

 总结

        一、资源限制的主要类型

        二、资源限制的几种方式

        三、资源限制的状态查询

---

Cgroups介绍

docker使用cgroup控制资源，K8S里面也有limit（使用上限）

Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制

Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源（如CPU、内存、磁盘、io等等）的机制，07年谷歌可以控制资源分配，通过操作系统内核，控制应用程序的内存资源、cpu资源、文件系统资源等等

cgroup是一种资源控制手段，也是容器隔离的6个名称空间的一种实现手段，每个容器相当于一个进程

cpu使用率控制

cpu周期:1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)假如需要给此容器分配opu使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2scpu在一个时刻，只能给一个进程占用

                利用stress压力测试工具来测试CPU 和内存使用状况

使用Dockerfile来创建一个基于centos 的stress工具镜像。

首先创建一个stress的目录，编写dockerfile

[root@localhost /opt]# ls
containerd  rh  stress
[root@localhost /opt]# cd stress/
[root@localhost /opt/stress]# ls
Dockerfile
[root@localhost /opt/stress]# cat Dockerfile
FROM centos:7
RUN yum install wget -y
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

构建镜像

[root@localhost /opt/stress]# docker build -t centos:stress .

查看镜像

[root@localhost /opt/stress]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
centos       stress    5218f2df495c   6 days ago     552MB
centos       7         eeb6ee3f44bd   4 months ago   204MB

运行容器

[root@localhost /opt/stress]# docker run -itd --name stress_v1 --cpu-shares 100 centos:stress
ed6bbcc03ec9b9985d3c414099d921164edbd54d8713f77feca74c28c7a4f6a4
[root@localhost /opt/stress]# docker ps -a
CONTAINER ID   IMAGE           COMMAND       CREATED         STATUS         PORTS     NAMES
ed6bbcc03ec9   centos:stress   "/bin/bash"   3 seconds ago   Up 3 seconds             stress_v1

命令中的--cpu-shares参数值不能保证可以获得1个cpu或者多少GHz的cPU资源，它仅是一个弹性的加权值。，相当于nginx中的upstream池中的weight。

此时查看docker的状态是看不出来啥

 说明 

默认情况下，每个
Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU 份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得cPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。

一个主机运行一个容器，只运行了一个应用（容器也是虚拟化技术)
一个主机运行一个应用

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的cPu份额来确定有多少cPU资源分配给它，资源分配结果取决于同时运行的其他容器的cPU分配和容器中进程运行情况。
        可以通过 cpu share可以设置容器使用CPU 的优先级/权重，比如启动了两个容器及运行查看CPU使用百分比。

[root@localhost ~]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
408c629ab405172c25ca7de51ac8135821c5ac2cbc3a2f5400586b7a2133847e
[root@localhost ~]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
bf9cb00a5658dd4ba30e0c079183b980c8cc8632ca0e393bf1603aa8904e980f

 -c代表开启几个进程同时工作，可以看到两个cpu的比例接近1：2

         cpu周期限制

        Docker 提供了--cpu-period、--cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
 --cpu-period是用来指定容器对cPU的使用要在多长时间内做一次重新分配。

查看cpu周期（一秒）

[root@localhost /sys/fs/cgroup/cpu/docker]# cat cpu.cfs_period_us
100000

查看限额（-1不受限制）

[root@localhost /sys/fs/cgroup/cpu/docker]# cat cpu.cfs_quota_us
-1

宿主机怎么提供资源、怎么控制docker容器中的应用的
        CPU --->VCPU-->以进程的方式体现在workstation环境(docker环境中）---》docker表现形式是容器-->Vcpu以进程的方式控制容器--》容器中的应用需要的是服务进程支持--》宿主机内核中cpu可以被cgroup管理(通过分配资源手段)--》linux内核中的cgroup可以直接控制VCPU的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也
可以认为Cgroups在直接/间接管理docker容器中的应用

--cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与--cpu-shares不同的是,这种配置是指定一个绝对值，容器对cPU资源的使用绝对不会超过配置的值。
cpu-period和 cpu-quota的单位为微秒(us)。cpu-period的最小值为 1000微秒，最大值为1秒(10^6us） ，默认值为0.1 秒(100000 us)
cpu-quota 的值默认为-1，表示不做控制。cpu-period和cpu-quota参数一般联合使用。
redis 中，用来表示的永久-1

例如:容器进程需要每1秒使用单个CPU的 0.2秒时间，可以将cpu-period 设置为100000(即1秒) , cpu-quota设置为20000 (0.2秒)。
当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 10000(即 0.1秒)，cpu-quota 设置为20000 (0.2秒）。

[root@localhost /sys/fs/cgroup/cpu/docker]# docker run -tid --cpu-period 100000 --cpu-quota 20000 centos:st                ress
02a44286fcbfe56ba52d3c4c5567f18a874d2abb0650af9d8a7292e846629757

 查看容器的cpu限制以及周期，可以看到我们设置的完全一致

         CPU Core控制

        对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用--cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

[root@localhost ~]# docker run -tid --name cpu1 --cpuset-cpus 0-1 centos:stress

执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的 cgroup 的 cPU内核配置如下

[root@localhost /sys/fs/cgroup/cpuset/docker/a1d13b5941891da666d731f7de7a5df3377fa50147d4f832528dfc13145a210c]# cat cpuset.cpus
0-1

        CPU 配额控制参数的混合使用

        通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。
cpuset-cpus、 cpuset-mems参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个cPU内核的情况下，需要通过 cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。
//宿主系统修改为4核心CPU

[root@localhost ~]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
fa4b54e8313a77f5a4d246194a725318545bc590d4ce285c2f2de57a816ee1c6

                小结

        Cgroups控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vw中进程资源—》docker容器的资源—》docker容器内应用的资源控制的主体包括:CPU 、内存、I/o主要介绍的是CPU资源的控制

        而CPU资源控制的方式主要有:
 cpu-shares权重指的是多个容器使用同一个CPU的情况下，被分配到CPU资源的机会占比
 cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指定
cpuset-cpus指定容器，仅能使用指定的CPU，按照CPU的下标来表示

内存限额

        与操作系统类似，容器可使用的内存包括两部分:物理内存和SwapoDocker通过下面两组参数来控制容器内存的使用量。

        -m或--memory:设置内存的使用限额，例如100M、1024M.

--memory-swap:设置内存+swap 的使用限额。

执行如下命令允许该容器最多使用200M的内存和300M的swap。

[root@localhost ~]# docker run -itd -m 200M --memory-swap=300M centos:stress
ab5ba1b39e8a1ed37eb2dd8ddb55dc871d3c63b016cc5698b8d443d8bdad4ed2

查看资源

可以看到limit硬限制就200m了，如果我们随便创建一个看看

[root@localhost ~]# docker run -itd --name test01 centos:stress /bin/bash
0700a41f26453769f667dee58034ee4b28c7474e3365835366a59454d11970c6

 不做限制的话是有将近8个g可供我们使用

--vm 1:启动1个内存工作线程。
--vm-bytes 280M:每个线程分配280M内存。

默认情况下，容器可以使用主机上的所有空闲内存。与CPU的cgroups配置类似,Docker 会自动为容器在目录/sys/fs/ogroup/memory/docker/<容器的完整长 ID>中创建相应cgroup 配置文件，如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress线程报错，容器退出。         

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [7] forked
stress: dbug: [7] allocating 325058560 bytes ...
stress: dbug: [7] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 7 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 2s

Block io的限制

        默认情况下，所有容器能平等地读写磁盘，可以通过设置--blkio-weight参数来改变容器 block Io 的优先级。--blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500.

[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress

[root@1b6fe95e76f5 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@2aa5211e79eb /]# cat /sys/fs/cgroup/blkio/blkio.weight
300

容器A读写磁盘的带宽是容器B的两倍。

bps 和iops 的限制

        bps 是byte per second，每秒读写的数据量。
        iops 是io per second，每秒Io 的次数(流)。
可通过以下参数控制容器的bps和iops:

--device-read-bps，限制读某个设备的bps。
--device-write-bps，限制写某个设备的bps。
--device-read-iops，限制读某个设备的iops。
--device-write-iops，限制写某个设备的iops。

 限制容器写/dev/sda 的速率为5 MB/s。

[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@ab9abc0fd062 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C26+0 records in
26+0 records out
27262976 bytes (27 MB) copied, 5.20111 s, 5.2 MB/s

         通过 dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的，
在容器中写文件相当于对host /dev/sda进行写操作。另外，oflag=direct指定用direct To方式写文件，这样--device-write-bps 才能生效。

结果表明限速5MB/s左右。作为对比测试，如果不限速，结果如下。

[root@localhost ~]# docker run -it centos:stress
[root@30d22ae5edb1 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.830765 s, 1.3 GB/s

        构建镜像( docker build）时指定资源限制

--build-arg=[]	设置镜像创建时的变量;
--cpu-shares	设置cpu使用权重
--cpu-period	限制cPU cFS周期
--cpu-quota	限制cPU CFS配额
--cpuset-cpus	指定使用的CPU id
--cpuset-mems	指定使用的内存id
--disable-content-trust	忽略校验，默认开启
-f	指定要使用的Dockerfile路径
--force-rm	设置镜像过程中删除中间容器
--isolation	使用容器隔离技术
--label=[]	设置镜像使用的元数据
-m	设置内存最大值
--memory-swap	设置Swap的最大值为内存+swap, "-1"表示个限swap
--no-cache	创建镜像的过程不使用缓存
--pull	尝试去更新镜像的新版本
--quiet, -q	安静模式，成功后只输出镜像id
--rm	设置镜像成功后册除中间容器
--shm-size	设置/dev/shm的大小，默认值是64M
--ulimit	Ulimit配置
--squash	将Dockerfile中所有的操作压缩为一层
--tag, -t:	镜像的名字及标签，通常name : tag或者name
格式	可以在一次构建中为一个镜像设置多个标签
--network	默认default。在构建期间设置RUN指令的网络模式

                                                                
总结

        一、资源限制的主要类型

1、CPU权重shares、quota、cpuset（周期cpu-period)

2、磁盘:BPS、TPS限制，指定使用哪个磁盘、磁盘分区

3、内存-m -swap 内存、交换分区大部分做的是上限的限制

        二、资源限制的几种方式

1、build 构建镜像时，可以指定该镜像的资源限制

2、run将镜像跑为容器的时候，可以指定容器的资源限制

3、容器启动之后，可以在宿主机(容器资源限制目录下进行限制)对应容器的目录下。修改资源限制，然后重载/sys/fs/ cgroup/* (cpu、blk、mem)/docker/容器ID/--->修改对应的资源限制文件参数就可以

        三、资源限制的状态查询

1、docker inspect镜像ID/容器IDdocker stats

2、直接查看宿主机对应容器ID资源限制的文件，cgroup资源docker原理之一 , namespaces 6个名称空间