Docker资源控制--Cgroup

最新推荐文章于 2023-02-05 10:46:32 发布
最新推荐文章于 2023-02-05 10:46:32 发布
阅读量101 收藏
点赞数
分类专栏： Docker 文章标签： 运维 docker linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46202385/article/details/110483765
版权

目录

前言

默认情况下容器是没有资源限制的，因为它本身就是一个进程，当一个容器占用太多资源的话，会对其他容器产生影响，所以 ，合理应该分配容器资源是作为管理员必须要关注的问题。

一、Cgroup简介

Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。

Cgroup 子系统

  • blkio：设置限制每个块设备的输入输出控制；
  • cpu：使用调度程序为 cgroup 任务提供 cpu 的访问；
  • memory：设置每个 cgroup 的内存限制以及产生内存资源报告；
  • cpuacct：产生 cgroup 任务的 cpu 资源报告；
  • cpuset：如果是多核心的 cpu，这个子系统会为 cgroup 任务分配单独的 cpu 和内存；
  • devices：允许或拒绝 cgroup 任务对设备的访问；
  • freezer：暂停和恢复 cgroup 任务；
  • net_cls：标记每个网络包以供 cgroup 方便使用；
  • ns：命名空间子系统；
  • perf_event：增加了对每个 cgroup 的监测跟踪能力，可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程；

二、使用 stress 工具测试 CPU 和内存

2.1 stress工具介绍

stress 是Unix类系统下的工作量和压力测试工具。它将对用户指定的CPU数量的I/O，内存和硬盘的负载并报告它检测到任何错误。它用于自动压力测试和调试系统组件失败的唯一或更经常负荷时。它可以运行在x86，ppc64的，和PPC 32 GNU / Linux的，Tru64的，SPARC Solaris的，和其他平台。

2.2 使用 Dockerfile 来创建一个 stress 的工具镜像

[root@docker ~]# mkdir /opt/stress
[root@docker ~]# vi /opt/stress/Dockerfile
FROM centos:7
MAINTAINER chu
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress
~                             
[root@docker ~]# cd /opt/stress/
[root@docker stress]# docker build -t centos:stress .

三、测试

3.1 CPU弹性的加权值–cpu-shares

默认情况下，每个 Docker 容器的CPU的份额都是1024，单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的 CPU 加权的效果才能体现出来。
例如，两个容器 A、B 的CPU份额分别是 1000 和 500 ，在 CPU 进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器 A 一定能获得CPU 时间片。比如容器 A 的进程一直是空闲的，那么容器 B 是可以获取比容器 A 更多的 CPU 时间片。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

Cgroup 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。可以通过 cpu share 可以设置容器使用 CPU 的优先级。

  • 容器1
[root@docker stress]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10
d3721046daaf07b654b40eb01dec59ee692edc6e015249e76d3fc45f33c5cb16
[root@docker ~]# docker exec -it cpu512 bash
[root@d3721046daaf /]# top

在这里插入图片描述

  • 容器2
[root@docker ~]# docker exec -it cpu1024 bash
[root@17ef3a33d6b9 /]# top
[root@docker stress]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
17ef3a33d6b97ad17a24a9b509895953988754b87d2c434ab30080a30a583e0e

在这里插入图片描述

3.2 CPU 周期限制

  • –cpu-period ：是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
  • –cpu-quota ：是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
  • 与 --cpu-shares 不同的是。这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。

注意：

  • cpu-period 和 cpu-quota 的单位是微秒；
  • cpu-period 的最小值是1000微秒，最大值为1秒，默认值为0.1秒。
  • cpu-quota 的值默认是 -1 ，表示不做控制；
  • cpu-period 和 cpu-quota 参数一般联合使用。

容器进程需要每一秒使用单个 CPU 的0.2秒时间，可以将 cpu-period 设置为 1000000（即1秒），cpu-quota 设置为 200000（0.2秒）
当然，在多核情况下，如果允许容器进程完全占有两个 CPU，则可以将 cpu-period 设置为 100000（即0.1秒），cpu-quota 设置为 200000（0.2秒），cpu刷新是0.1秒间隔 那么我在你这使用了0.1秒后还有0.1秒怎么办，就让下一个cpu来处理

[root@docker stress]# docker run -itd --cpu-period 100000 --cpu-quota 200000 --name time centos:stress
902aee9d4bc54259292561b2322db78008377e38fff2d42949a7e2ea8827e15e
[root@docker stress]# docker exec -it time bash
[root@902aee9d4bc5 /]# cat /sys/fs/cgroup/cpu 
cpu/         cpu,cpuacct/ cpuacct/     cpuset/      
[root@902aee9d4bc5 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@902aee9d4bc5 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us 
200000

在这里插入图片描述

3.3 CPU Core 控制

于多核 CPU 的服务器，Docker 还可以控制容器运行使用哪些 CPU 内核，即使用 --cpuset-cpus 参数。这对具有多 CPU 的服务器尤其有用，可以对需要高性能计算的容器进行性能最优配置。

  • 容器1
[root@docker stress]# docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
1f5e090e7c47c75a3a16930be1221ca4dc4650fb1bd2b4763b3f70a7663e562e
[root@docker stress]# docker exec -it cpu1 bash
[root@1f5e090e7c47 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1

# 压力测试
[root@1f5e090e7c47 /]# stress -c 10

在这里插入图片描述
在这里插入图片描述

  • 容器2
[root@docker stress]# docker run -itd --name cpu2 --cpuset-cpus 2-4 centos:stress
a2809bd52743fe519fcdc0dda5aebd8a267dea1f623a8478de56ec95e7ef1534
[root@docker stress]# docker exec -it cpu2 bash
[root@a2809bd52743 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
2-4

# 压力测试
[root@a2809bd52743 /]# stress -c 10

在这里插入图片描述
在这里插入图片描述

3.4 CPU 配额控制参数的混合使用

通过 cpuset-cpus 参数指定容器 A 使用 CPU 内核 0，容器B 只是用 CPU 内核1；在主机上只有这两个容器使用对应 CPU 内核的情况，它们各自占有全部的内核资源，cpu-shares 没有明显效果。cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个 CPU 内核的情况下，需要通过 cpuset-cpus 参数为设置容器 CPU 内核才能方便地进行测试。

  • 容器1
[root@docker ~]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
5b472d5cb9435baaf2c23769797ada39b3036acb512d959ffafceca11c9a991b

在这里插入图片描述

  • 容器2
[root@docker ~]# docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
d2e4fb58a06f460c770e57df52bec932854c5808ad301ad94ee5207535d1d6cf

在这里插入图片描述

3.5 内存限额

与操作系统类似，容器可使用的内存包括两部分：物理内存 和 Swap；

docker 通过下面两组参数来控制容器内存的使用量：

-m 或 --memory：设置内存的使用限额，例如 100M、1024M；
–memory-swap：设置内存 +swap 的使用限额。

  1. 低于交换内存
[root@docker ~]# docker run -it -m 100M --memory-swap=200M --name mem progrium/stress --vm 1 --vm-bytes 110M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 115343360 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: dbug: [6] freed 115343360 bytes
stress: dbug: [6] allocating 115343360 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...

内存测试通过！

在这里插入图片描述

  1. 高于交换内存
[root@docker ~]# docker run -it -m 100M --memory-swap=200M --name mem2 progrium/stress --vm 1 --vm-bytes 210M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 220200960 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 1s

内存测试失败！

在这里插入图片描述

3.6 Block IO 限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。

–blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500

[root@docker ~]# docker run -it --name block-io1 --blkio-weight 600 centos:stress
[root@94b58d7759b3 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

在这里插入图片描述

[root@docker ~]# docker run -it --name block-io2 --blkio-weight 200 centos:stress
[root@7daf15627708 /]# cat /sys/fs/cgroup/blkio/blkio.weight
200

在这里插入图片描述

3.7 bps 和 iops 的限制

  • bps ：是 byte per second，每秒读写的数据量；
  • iops ：是 io per second，每秒 IO 的次数；

可以通过以下的参数来控制 bps 和 iops：

  • device-read-bps：限制读某个设备的 bps；
  • device-write-bps：限制写某个设备的 bps；
  • device-read-iops：限制读某个设备的 iops；
  • device-write-iops：限制写某个设备的 iops。
    例如：

限制容器 写 /dev/sda

[root@docker ~]# docker run -it --device-write-bps /dev/sda:13MB --name bps1 centos:stress
[root@d02e97d3690f /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C33+0 records in
33+0 records out
34603008 bytes (35 MB) copied, 2.50529 s, 13.8 MB/s

在这里插入图片描述

[root@docker ~]# docker run -it --name bps2 centos:stress
[root@f162566ea2f1 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 2.90913 s, 369 MB/s

在这里插入图片描述

Shadow Flow
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
这就是你日日夜夜想要的docker！！！---------Docker资源控制--Cgroup
weixin_47219935的博客
09-24 2万+
文章目录一、什么是 Cgroup？二、使用 stress 工具测试 CPU 和内存1、stress工具介绍2、使用 Dockerfile 来创建一个 stress 的工具镜像：三、实操1、CPU弹性的加权值--cpu-shares2、--cpu-period、–cpu-quota 控制容器 CPU 时钟周期3、--cpuset-cpus 控制cpu核心数4、 --cpuset-cpus 指定核心数和 --cpu-shares 权重结合使用5、内存限额6、Block IO 的限制7、bps 和 iops 的限
Docker（五）---Cgroup 资源配置方法
白雪滑落树梢
12-04 1308
文章目录一、简介二、CPU1. CPU使用率控制1.1 使用 dockerfile 来创建一个基于centos的stress工具镜像1.2 创建容器，并给其分配权重2.CPU周期限制2.1 宿主机怎么提供资源、控制容器中的应用？2.2 周期限制3.CPU core 控制 一、简介 docker使用cgroup控制资源，K8S 里面也有limit(使用上限) Docker通过cgroup来控制容器使用的资源配额，包括cpu、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。 Cgroup
docker-cgroups概述
liuchenbei的博客
02-05 207
Task: 在 cgroup 中，task 可以理解为一个进程，但这里的进程和一般意义上的操作系统进程不太一样，实际上是进程 ID 和线程ID 列表。CGroup: 即控制组，一个控制组就是一组按照某种标准划分的Tasks，可以理解为资源限制是以进程组为单位实现的，一个进程加入到某个控制组后，就会受到相应配置的资源限制。Hierarchy: cgroup 的层级组织关系，cgroup 以树形层级组织，每个 cgroup 子节点默认继承其父 cgroup。
cgroup----ns子系统
西红柿炒土豆
09-23 1222
ns子系统      ns子系统是一个比较特殊的子系统。特殊在哪儿呢，首先ns子系统没有自己的控制文件，其次ns子系统没有属于自己的状态信息，这点从ns子系统的ns_cgroup的定义可以看出： struct ns_cgroup { struct cgroup_subsys_state css; }; 它只有一个cgroup_subsys_state成员。   
Cgroups是什么
RToax
09-28 685
原文地址：https://www.cnblogs.com/lisperl/archive/2013/01/14/2860353.html 作者：王喆锋 zhefwang@gmail.com（侵删） Cgroups是什么？ Cgroups是control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由google的工程师提出，后来被整合进Linux内核。Cgroups也是L.
docker-system-sensors
03-28
3. Docker 系统传感器的工作原理：docker-system-sensors 可能是通过 Docker API 来收集容器和宿主机的数据，如 cgroup（控制组）数据，这些数据包含了关于 CPU、内存、磁盘和网络的详细信息。然后，它可能将这些...
docker cgroup 资源监控的详解
01-11
docker cgroup 资源监控的详解 1.cgroup术语解析： blkio： 这个subsystem可以为块设备设定输入/输出限制，比如物理驱动设备（包括磁盘、固态硬盘、USB等）。 cpu： 这个subsystem使用调度程序控制task对CPU的使用...
docker容器资源配额控制详解
01-10
docker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。 cgroup简介 cgroup是Control Groups的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组...
Docker-LXC_原理与绕过1
08-04
同时，Docker 还使用了 cgroup 机制来限制容器的资源使用量，从而实现资源的隔离和限制。 知识点： 1. Docker 是基于 LXC 技术的一种容器化解决方案。 2. LXC 是 Linux 下的一种操作系统级虚拟化技术。 3. ...
这就是你日日夜夜想要的docker！！！---------docker+consul+ nginx集成分布式的服务发现与注册架构
weixin_47219935的博客
09-23 1939
一、Docker consul容器服务更新与发现理论 1、基本架构 注册中心： 每个服务提供者向注册中心登记自己的服务，将服务名与主机Ip，端口等一些附加信息告诉注册中心，注册中心按服务名分类组织服务清单。如A服务运行在192.168.1.82:3000，192.168.1.83：3000实例上。那么维护的内容如下： 2、基于nginx和consul构建高可用及自动发现的Docker服务架构 上方拓扑图是基于Docker完成的，然后将consul、consul template、registrator
这就是你日日夜夜想要的docker！！！---------Docker常规操作--端口映射、数据卷管理 以及容器互联
weixin_47219935的博客
09-20 4584
文章目录一、端口映射1、-P随机端口2、映射指定一个端口3、映射指定多个端口4、映射到指定端口的指定地址5、映射到指定端口的任意地址6、查看端口映射情况二、数据卷与数据卷容器1、挂载宿主系统（数据卷）2、数据卷容器操作三、容器互联1、--link 通过虚链路连接2、通过中转网卡连接 一、端口映射 在启动容器的时候，如果不指定对应的参数，在容器外部是无法通过网络来访问容器内部的网络应用和服务的。 　　当容器中运行一些网络应用，要让外部访问这些应用时，可以通过-p或-P参数来指定端口映射。当使用-P(大写P)标
这就是你日日夜夜想要的docker！！！---------TLS加密远程连接Docker
weixin_47219935的博客
09-25 1万+
文章目录一、Docker 存在的安全问题1、Docker 自身漏洞2、Docker 源码问题3、Docker 架构缺陷与安全机制二、TLS加密通讯协议1、TLS介绍2、CA证书三、配置TLS安全加密1、实验环境准备2、创建CA根证书RSA私钥3、创建ca证书4、创建服务器私钥5、生成服务端证书6、生成签名过的服务端证书7、生成客户私钥8、生成客户端证书签名9、生成名为extfile.cnf的配置文件10、客户端签名证书11、删除多余文件12、配置dockerservice配置文件13、将秘钥文件传到客户端1
线程池与Android的日日夜夜
minminaya
04-16 3万+
线程池与Android的日日夜夜 假如你Java中研究到了线程池的话，一般来说，你已经对线程的原理颇有研究了，或者说，你意识到了线程的某些瓶颈或者缺点。你说，要有光，所以，天降线程池。 正儿八经的说，如果你为每一个请求创建一个新的线程，这在性能上影响是巨大的，因为线程对象的创建销毁需要Java虚拟机频繁的GC，假如说，一个请求所用的时间比创建销毁线程对象时间还短的话，那么时间将会大程度浪费...
盘Docker吗？Docker--harbor私有仓库部署与管理
CN_TangZheng的博客
04-28 676
Harbor是VMware公司的开源级的企业级DockerRegistry(仓库)项目，Harbor的目标是帮助用户迅速搭建一个企业级的DockerRegistry服务，Harbor以docker公司开源的registry为基础，提供了管理UI，基于角色的访问控制（Role Based Access Control），AD/LDAP集成，以及审计日志（Auditlogging）等企业用户需求的功能，同时还原生支持中文。 Harbor的每个组件都是以Docker容器的形式构建的
这就是你日日夜夜想要的docker！！！---------Docker镜像制作与私有仓库建立
weixin_47219935的博客
09-21 826
文章目录一、docker镜像介绍1、什么是Docker镜像2、Docker镜像加载原理4、镜像构建原理4、构建镜像有三种方式：二、创建镜像1、Dockerfile简介？（1）Dockerfile常用操作指令（2）Dockerfile创建镜像2、基于已有的镜像容器创建3、基于本地模板创建二、Docker私有仓库建立1、私有仓库设置步骤2、建立私有仓库（1）服务端下载registry镜像（2）指定镜像仓库的地址（3）生成registry容器，开放5000端口（4）镜像打标签（5）上传镜像测试（6）下载镜像测试
这就是你日日夜夜想要的docker！！！---------Docker Compose容器编排理论+实操
weixin_47219935的博客
09-22 1万+
文章目录一、Compose简介1、在Compose中有两个重要的概念2、docker，dockerfile与docker-compose区别二、Compose安装与卸载1、Centos系统安装2、Compose卸载三、Compose模板文件1、Docker Compose配置常用字段2、Docker Compose常用命令3、YAML文件介绍四、实验:使用Docker-Compose创建nginx1、部署Docker-Compose环境2、使用Dockerfile定义应用程序的环境3、使用docker-co
【记录】记网站被百度降权的那些难熬的日日夜夜
姜成SEO
01-14 1474
    网站上一个核心关键词的排名想要抢占搜索引擎首页并不是一件十分容易的事情，更新内容、调整结构、发外链等等一系列的操作一样都不能少。所有的辛苦都只为了在下一次查排名的时候，网站能够更加靠前一点点，哪怕是前进了三五名都能够让SEOer有着继续努力的做下去的动力。     然而，这个世界上很多事情都并非一帆风顺，白雪公主也需要经历重重磨难才能与七个小矮人过上没羞没臊的幸福生活。     网...
这就是你日日夜夜想要的docker！！！---------Dockerfile构建nginx、Tomcat、MySQL镜像
热门推荐
weixin_47219935的博客
09-22 4万+
文章目录构建nginxDockerfile镜像构建DockerfileTomcat构建Dockerfile MySQL镜像 构建nginxDockerfile镜像 这里的nginx软件包使用nginx-1.12.2.tar.gz需要的私聊 [root@docker ~]# mkdir /nginx [root@docker ~]# cd /nginx/ [root@docker nginx]# vim Dockerfile FROM centos:7 RUN yum update -y RUN yum -y
Babylon.js 入门 - 第 7 章 - 点亮夜晚
能带孩子会做饭
03-09 4175
Babylon.js 入门 - 第 7 章 - 点亮夜晚 Babylon.js是一款基于WebGL的3D图形引擎,也是目前处于该领域世界领先水平的引擎之一。 村子永远是明亮的会使睡眠变得非常困难，因此我们将通过调暗光线来展示夜间时间。当然人们不想晚上在完全黑暗中行走，所以我们会添加一些路灯。由于永夜并不比永昼好，我们将添加一个界面以切换昼夜。我们想在晚上把光线关掉，白天把它打开。让我们添加一个 `GUI` 控件来执行此操作。有光的地方也有阴影，`Babylon.js` 也可以添加它们。
Docker中Cgroup控制cpu资源分配的参数都有哪些及简单功能描述？
最新发布
06-12
在Docker中，Cgroup可以用来控制CPU资源的分配。以下是常用的几个Cgroup参数以及它们的功能描述： 1. cpu.shares：设置CPU资源分配的相对权重。该参数是一个整数值，表示该容器相对于其他容器的CPU资源分配比例。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值