Cgroup资源配置操作
Cgroup资源配置方法:
Docker通过Cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
Cgroup是Control Groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘 IO等等)的机制。
07年谷歌,可以控制资源分配通过操作系统内核,控制应用程序使用内存资源、cpu资源、文件系统资源等等,cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段。
每个容器相当于一个进程。
CPU使用率控制:
cpu周期:1s为一个周期的定律,参数值一般为100000 (CPU衡量单位是秒)
假如需要给此容器分配cpu使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2s
cpu在一个时刻,只能给一个进程占用(一个进程控制一个容器)
利用stress压力测试工具来测试CPU和内存使用状况。
使用Dockerfile 来创建一个基于centos 的stress工具镜像。
//
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx latest ad4c705f24d3 4 days ago 133MB
centos 7 8652b9f0cb4c 10 months ago 204MB
[root@localhost ~]# cd /opt
[root@localhost opt]# mkdir stress
[root@localhost opt]# vim dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
[root@localhost opt]# docker build -t centos:stress .
权重 --cpu-shares
使用如下命令创建容器,命令中的-cpu-shares参数值不能保证可以获得1个cpu或者多少GHz的CPU资源,它仅是一个弹性的加权值。
//
[root@localhost stress]# docker run -itd --cpu-shares 100 centos:stress
96b136be0aec153f2fe7c3e30784663fdd8988c3398cfa759674de79026c09d2
说明:默认情况下,每个Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时,容器的CPU加权的效果才能体现出来。
例如,两个容器A、B的CPU份额分别为1000和500,在CPU进行时间片分配的时候,容器A比容器B多一倍的机会获得CPU的时间片。
但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一直是空闲的,那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下,例如主机上只运行了一个容器,即使它的CPU份额只有50,它也可以独占整个主机的CPU资源。
- Cgroups只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它,资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share可以设置容器使用CPU的优先级,比如启动了两个容器及运行查看cPU使用百分比。
//
[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
[root@localhost stress]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
复制终端用docker stats 查看
CPU周期限制 --cpu-period、 --cpu-quota
Docker提供了–cpu-period、 --cpu-quota两个参数控制容器可以分配到的CPU时钟周期
1、–cpu-period 是用来指定容器对CPU的使用要在多长时间内做一 次重新分配。
2、–cpu-quota是用来指定在这个周期内,最多可以有多少时间用来跑这个容器。
3、–cpu-quota是–cpu-period的倍数时,使用多个CPU
与–cpu-shares不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。
cpu-period和cpu-quota的单位为微秒(μs)。cpu-period的最小值为1000微秒,最大值为1秒(10^6μs) ,默认值为0.1秒(100000μs) 。
cpu-quota的值默认为-1, 表示不做控制。cpu-period和cpu-quota参数一般联合使用。
例如:容器进程需要每1秒使用单个CPU的0.2秒时间,可以将cpu-period设置为1000000 (即1秒),cpu-quota设置为200000 (0.2秒)。
当然,在多核情况下,如果允许容器进程完全占用两个CPU,则可以将cpu-period设置为100000 (即0.1秒),cpu-quota设置为200000 (0.2秒)。
例如
//
[root@docker ~]# docker run -itd --name centos_quota --cpu-period 100000 --cpu-quota 200000 centos:stress
查询容器的资源限制参数
第一种方式
在指定容器目录中
//
cat /sys/fs/cgroup/cpu/docker/容器ID/cpu.cfs period_us
cat /sys/fs/cgroup/cpu/docker/容器ID/cpu.cfs_quota_us
第二种方式
使用docker inspect 容器ID/容器名
//
[root@docker ~]# docker inspect centos_quota
CPU Core控制 --cpuset-spus
对多核CPU的服务器,Docker还可以控制容器运行哪些CPU内核,即使用–cpuset-cpus参数,这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。
//
[root@docker ~]# docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
执行以上命令需要宿主机起码为双核,表示创建的容器只能用0、1两个内核。
最终生成的 cgroup 的 CPU内核配置如下:
//
[root@docker ~]# cat /sys/fs/cgroup/cpuset/docker/1600f3d735a849583d22043507e999e69a5b240f26b02273322e4b229c9081a7/cpuset.cpus
0-1
以下命令可以查看容器进程与CPU内核的绑定关系
//
[ root@localhost stress]# docker exec 容器ID taskset -c -p 1
##容器内部第一个进程号pid为1被绑定到指定CPU上运行
小结:
容器限制资源的方式:
1、创建容器时直接使用参数指定资源限制
2、创建容器后,指定资源分配
修改宿主机对应容器资源控制的文件/sys/fs/cgroup/中的文件
CPU配额控制参数的混合使用
通过cpuset-cpus参数指定容器A使用CPU内核0,容器B只是用CPU内核1。
在主机上只有这两个容器使用对应CPU内核的情况,它们各自占用全部的内核资源,cpu-shares没有明显效果。
cpuset-cpus. cpuset-mems 参数只在多核、多内存节点上的服务器上有效,并且必须与实际的物理配置匹配,否则也无法达到资源控制的目的。
在系统具有多个CPU内核的情况下,需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。
//
[root@docker ~]# docker run -itd --name cpu2 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
[root@docker ~]# docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
内存限额
与操作系统类似,容器可使用的内存包括两部分:物理内存和 Swap
Docker 通过下面两组参数来控制容器内存的使用量。
-m或–memory:设置内存的使用限额,例如100M、1024M。
–memory-swap:设置内存+swap 的使用限额。
执行如下命令允许该容器最多使用200M的内存和 300M 的swap
//
docker run -it -m 200M --memory-swap=300M centos:stress
默认情况下,容器可以使用主机上的所有空闲内存。
与CPU的cgroups 配置类似,Docker 会自动为容器在目录 /sys/fs/cgroup/memory/docker/<容器的完整长 ID>
中创建相应cgroup配置文件
[root@docker ~]# docker stats
Block IO的限制
默认情况下,所有容器能平等地读写磁盘,可以通过设置–blkio-weight参数来改变容器 block Io 的优先级。–blkio-weight 与–cpu-shares类似,设置的是相对权重值,默认为500。
在下面的例子中,容器A读写磁盘的带宽是容器B的两倍。
//
[root@docker ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@docker ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
bps和iops的限制
bps是byte per second,每秒读写的数据量。
iops是io per second,每秒读写的次数。
可通过以下参数控制容器的bps和iops:
//
–device-read-bps, 限制读某个设备的bps
–device-write-bps, 限制写某个设备的bps
–device-read-iops, 限制读某个设备的iops
–device-write-iops, 限制写某个设备的iops
//
[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@d7964f30ab4f /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 2.00216 s, 5.2 MB/s
[root@d7964f30ab4f /]# exit
exit
[root@localhost ~]# docker run -it --device-write-bps /dev/sda:10MB centos:stress
[root@10a7df0fe4d4 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.950845 s, 11.0 MB/s
[root@10a7df0fe4d4 /]# exit
exit
[root@localhost ~]# docker run -it centos:stress
[root@5811cf035d43 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0125891 s, 833 MB/s
[root@localhost ~]#
可以在 docker build 时指定资源限制
//
--build-arg=[] : 设置镜像创建时的变量;
--cpu-shares : 设置cpu使用权重;
--cpu-period : 限制CPU CFS周期;
--cpu-quota : 限制CPU CFS配额;
--cpuset-cpus : 指定使用的CPU id;
--cpuset-mems : 指定使用的内存id;
--disable-content-trust : 忽略校验,默认开启;
-f : 指定要使用的Dockerfile路径;
--force-rm : 设置镜像过程中删除中间容器;
--isolation : 使用容器隔离技术;
--label=[] : 设置镜像使用的元数据;
-m : 设置内存最大值;
--memory-swap : 设置Swap的最大值为内存swap, "-1"表示不限swap;
--no-cache : 创建镜像的过程不使用缓存;
--pull : 尝试去更新镜像的新版本;
--quiet, -q : 安静模式,成功后只输出镜像ID;
--rm : 设置镜像成功后删除中间容器;
--shm-size : 设置/dev/shm的大小,默认值是64M;
--ulimit : Ulimit配置;
--squash : 将Dockerfile 中所有的操作压缩为一层;
--tag, -t: 镜像的名字及标签,通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签。
--network : 默认default;在构建期间设置RUN指令的网络模式
小结:
一、资源限制的主要类型
①CPU 权重shares、quota、cpuset
②磁盘 BPS、TPS限制,指定使用哪个磁盘、磁盘分区
③内存 -m 、-swap 内存、交换分区
二、资源限制的几种方式
①build 构建镜像时,可以指定该镜像的资源限制
②run 将镜像跑为容器的时候,可以指定容器的资源限制
③容器启动之后,可以在宿主机对应容器的目录下。修改资源限制,然后重载
//
/sys/fs/cgroup/* (cpu、blk、mem)/docker/容器ID/--->修改对应的资源限制文件参数就可以