docker cgroup资源分配与TLS

最新推荐文章于 2024-06-04 21:13:38 发布
最新推荐文章于 2024-06-04 21:13:38 发布
阅读量151 收藏
点赞数 1
文章标签： docker cgroup TLS 资源分配
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42280882/article/details/108836947
版权

docker cgroup资源分配

Cgroup资源配置方法

  Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

  Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘I0等等)的机制，被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具的资源管理是通过该方法进行分配
  这些具体的资源管理功能称为Cgroup子系统，有以下几大子系统实现:

  • blkio:设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
  • CPU:使用调度程序为cgroup任务提供CPU的访问。
  • cpuacct:产生cgroup任务的CPU 资源报告。
  • devices:允许或拒绝cgroup任务对设备的访问。
  • freezer:暂停和恢复cgroup任务。
  • memory:设置每个cgroup 的内存限制以及产生内存资源报告。
  • net_cls:标记每个网络包以供cgroup方便使用。
  • ns:命名空间子系统，对一个组的资源进行分配，如分配给一个组的资源为百分之50那么组内的所有成员所用资源不能超过百分之50
  • perf_event:增加了对每个group 的监测跟踪的能力，可以监测属于某个特定的group 的所有线程以及运行在特定CPU上的线程。
  • cpuset:如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU和内存。

配置示例

使用stress工具测试CPU和内存

下面开始利stress压力测试来测试CPU和内存使用状况.
使用Dockerfile来创建一个基于centos的stress工具镜像

[root@client ~]# mkdri /opt/stress
[root@client ~]# vim /opt/stress/Dockerfile
FROM centos:7
MAINTAINER cpu fenpei
RUN yum install -y wget
#epel源拓展的软件包
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
[root@client stress]# docker build -t centos:stress .

使用–cpu-shares参数来分配CPU使用权值，stress是用来创建进程进行压力测试的

[root@client stress]# docker run -itd --name cpu512 --cpu-shares 512 cnetos:stress stress -c 10

进入容器使用top命令查看进程
在这里插入图片描述

开另一个终端，再创建一个容器，使用top命令查看

[root@client stress]# docker run -itd --name cpu1024 --cpu-shares 1024 cnetos:stress stress -c 10

进入容器使用top命令查看
在这里插入图片描述

对比两则CPU的使用情况，大概为1:2的情况

  说明：默认情况下，每个docker容器的CPU份额都为1024，单独一个容器的份额是没有意义的，只有在同时运行多个容器时，容器的CPU 加权的效果才会显示出来。
  例如，两个容器A、B的CPU份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU的时间片。比如容器A的进程一直是空闲的那么容器B时可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU 资源

CPU 周期限制

docker提供了–Cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。

  • -cpu-period是用来指定容器对CPU的使用要在多长时间内做一次重新分配，类似刷新。
  • -cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
  • –cpu-shares 不同的是,这种配置是指定一个绝对值，容器对CPU 资源的使用绝对不会超过配置的值。
  • pu-period和cpu-quota 的单位为微秒(us)。cpu-period的最小值为1000微秒，最大值为1秒(10^6 us)，默认值为0.1秒(10000 us)
  • pu-quota的值默认为-1，表示不做控制。cpu-period和cpu-quota参数一般联合使用。

列如﹔容器进程需要每1秒使用单个CPU的0.2秒时间，可以将cpu-period设置为10000(即1秒)，cpu-quota设置为200000(0.2秒)
然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period设置为1000(即0.1秒)，cpu-quota 设置为20000 (0.2

[root@client ~]# docker run -itd --cpu-period 1000000 --cpu-quota 200000 cnetos:stress
86bc05d6eb511954fd7c5589e1832bda951d11aa404f267025729597c81591a1

[root@client ~]# docker exec -it 86bc05d6eb51 bash

[root@86bc05d6eb51 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
1000000
[root@86bc05d6eb51 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
200000

CPU内核控制

[root@client ~]# docker run -itd --name cpu0 --cpuset-cpus 0 cnetos:stress
3ec5c5b3e5edd92b727caa7da5805110899bfa62e3d5753060bc215be0b42bbf
[root@client ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
3ec5c5b3e5ed        cnetos:stress       "/bin/bash"         9 seconds ago       Up 8 seconds                            cpu0
[root@client ~]# docker exec -it 3ec5c5b3e5ed bash
[root@3ec5c5b3e5ed /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus 
0
绑定CPU
[root@client ~]# docker exec -it 3ec5c5b3e5ed taskset -c -p 1
pid 1's current affinity list: 0
[root@client ~]# docker exec -it 3ec5c5b3e5ed bash
[root@3ec5c5b3e5ed /]# stress -c 10
stress: info: [46] dispatching hogs: 10 cpu, 0 io, 0 vm, 0 hdd
开另一个终端查看可以看到CPU资源都分配在0和1上，注意要在没有其他容器在运行的情况下测试
[root@3ec5c5b3e5ed /]#top

CPU配额控制参数的混合使用

通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用 CPU内核1
在主机上只有这两个容器使用对应CPU内核的情况，它们各自占角部的内核资源，cpu-shares没有明显效果。
cpuset-cpus、cpuset-mcems参数只在多核、多内存节点上的服务器上有效，并H必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
在系统具有多个 CPU内核的情况下，需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。

[root@client ~]#docker run -itd --name cpu3 --cpuset-cpus 0 --cpu-shares 512 cnetos:stress stress -c 5
[root@client ~]# docker exec -it 563b1cc3e813 bash
[root@563b1cc3e813 /]# top

[root@client ~]#docker run -itd --name cpu4 --cpuset-cpus 1 --cpu-shares 1024 cnetos:stress stress -c 5
[root@client ~]# docker exec -it 6b89e62ee5ea bash
[root@6b89e62ee5ea /]# top

对比结果来看，在两个容器分配不同的CPU下赋予了权值也是不起作用，只有在两个容器都是分配在共同的CPU下才会有效果

内存限额

与操作系统类似，容器可使用的内存包括两部分：内存和Swap
Docker通过下面两组参数来控制容器内存的使用量

  • -m 或 --memory：设置内存的使用限额，例如 100m、1024M
  • –memory-swap：设置内存+swap 的使用限额

执行如下命令允许该容器最多使用200M的内存和300M的swap

[root@client ~]# docker run -it -m 200M --memory-swap=300m progrium/stress --vm 1 --vm-bytes 280M

–vm 1:启动1个内存工作线程
–vm-bytes 280M:每个线程分配280M内存
默认情况下，容器可以使用主机上的所有空闲内存
与CPU的cgroup配置类似，docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长 ID>中创建相应cgroup配置文件

[root@client ~]# docker run -it -m 200M --memory-swap=300m progrium/stress --vm 1 --vm-bytes 280M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 293601280 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: dbug: [6] freed 293601280 bytes
stress: dbug: [6] allocating 293601280 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: dbug: [6] freed 293601280 bytes

如果让工作线程分配的内存超过200M，分配的内存超过限额，stress线程报错，容器退出

[root@client ~]# docker run -it -m 200M --memory-swap=300m progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 325058560 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 0s

Block IO的限制

默认情况下，所有容器能平等的读写磁盘，可以通过设置–blkio-weight参数来改变 容器block IO的优先级
–blkio–weight 与–cpu–shares类似，设置的是相对权重值，默认为500
在下面的例子中，容器A读写磁盘的带宽是容器B的两倍。

[root@client ~]# docker run -it --name container_A --blkio-weight 600 cnetos:stress
[root@914d141cdf79 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

[root@client ~]# docker run -it --name container_B --blkio-weight 300 cnetos:stress
[root@cafdcf11c5d5 /]# cat /sys/fs/cgroup/blkio/blkio.weight
300

bps和iops的限制

bps是byte per second，每秒读写的数据量
iops是io per second，每秒IO的次数

可通过以下参数控制容器的bps和iops：

  • –device-read-bps,限制读某个设备的bps
  • –device-write-bps,限制写某个设备的bps
  • –device-read-iops,限制读某个设备的iops
  • –device-write-iops，限制写某个设备的iops

下面的示例是限制容器写/dev/sda 的速率为5MB/s

[root@client ~]# docker run -it --name block01 --device-write-bps /dev/sda:5MB cnetos:stress
[root@fd6c48ff2e02 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C103+0 records in
103+0 records out
108003328 bytes (108 MB) copied, 20.6011 s, 5.2 MB/s

通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda上的
在容器中写文件相当于对host /dev/sda进行写操作。另外，oflag=direct指定用direct IO 方式写文件
这样 --device-write-bps 才能生效。

结果表明限速5MB/s作为对比测试，如果不限速，结果如下

[root@cafdcf11c5d5 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 1.35386 s, 793 MB/s
把梦想藏在蘑菇里
关注
【CGroup原理篇】4. CPU子系统
从0到1，突破自己
04-06 1637
写在前面 CPU子系统通过CFS、RT两个调度程序来实现控制组对CPU使用的管理。 完全公平调度程序（CFS） — 根据进程优先级 ∕ 权重或控制组分配CPU使用的调度程序，在控制组间按比例分配 CPU时间（CPU 带宽）。 实时调度程序（RT） — 对实时进程使用 CPU 的时间进行限定。 一、CFS参数配置 1.1 cpu.shares 设置控制组中CPU可用时间的相对比例。参数值为大于等于2的整数。例如：在两个不同控制组，但cpu.shares=100的进程，获得的CPU时间是相同的。在一个
Docker资源控制与TLS加密通信
weixin_47151717的博客
09-26 784
文章目录Docker资源控制使用stress工作测试cpu和内存cup周期限制CPU Core 控制cpu配额控制参数的混合使用内存限额IO限制bps和iops的限制Docker-TLS加密通信实验需求远程连接docker 文章目录Docker资源控制使用stress工作测试cpu和内存cup周期限制CPU Core 控制cpu配额控制参数的混合使用内存限额IO限制bps和iops的限制Docker-TLS加密通信实验需求远程连接docker() Docker资源控制 Docker通过Cgroup 来控
Cgroup的CPU资源隔离介绍&docker cpu限制
liukuan73的专栏
11-26 9836
http://www.tuicool.com/articles/Jniemin 这个链接主要介绍了cgroup中使用的三种cpu资源限制方式 cpuset隔离方式是以分配核心的方式进行资源隔离，可以提供的资源分配最小粒度是核心，不能提供更细粒度的资源隔离，但是隔离之后运算的相互影响最低。需要注意的是在服务器开启了超线程的情况下，要小心选择分配的核心，否则不同cgroup间的性能差距会比
Linux Cgroup ：限制cgroup的CPU使用（subsystem之cpu）
u012632105的博客
08-28 493
Linux Cgroup：限制cgroup的CPU使用（subsystem之cpu）
用 cgroups 管理 cpu 资源
weixin_33943836的博客
10-30 219
这回说说怎样通过 cgroups 来管理 cpu 资源。先说控制进程的 cpu 使用。在一个机器上运行多个可能消耗大量资源的程序时，我们不希望出现某个程序占据了所有的资源，导致其他程序无法正常运行，或者造成系统假死无法维护。这时候用 cgroups 就可以很好地控制进程的资源占用。这里单说 cpu 资源。cgroups 里，可以用 cpu.cfs_period_us 和 cp...
通过cgroup给docker的CPU和内存资源做限制
weixin_30780649的博客
09-18 162
1.cpu docker run -it --cpu-period=100000 --cpu-quota=2000 ubuntu /bin/bash 相当于只能使用20%的CPU 在每个100ms的时间里只能使用20ms的计算时间 2.内存 $ docker run -m 1G ubuntu:16.04，该容器能使用的内存大小为 1G，能使用的 swap 分区大小也为 1G。容器内的进程...
docker资源限制与compose
Drw_Dcm的博客
10-19 7977
docker资源限制与compose
如何解决docker的tls(ssl)证书过期问题
sskywatcher的博客
03-18 7614
问题现象: [root@localhost ~]# docker image pull xxx.com.cn/centos7 Using default tag: latest Error response from daemon: Get https://xxx.com.cn/v1/_ping: x509: certificate has expired or is not yet val...
Docker --docker安全、docker资源控制、docker安全加固
ly660402的博客
02-19 857
Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面： Linux内核的命名空间机制提供的容器隔离安全 Linux控制组机制对容器资源的控制能力安全。 Linux内核的能力机制所带来的操作权限安全 Docker程序（特别是服务端）本身的抗攻击性。 其他安全增强机制对容器安全性的影响。 命名空间隔离的安全 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。 与虚拟机方...
Docker全方位攻略与自动化运维
dg313的博客
02-22 606
(Docker注册中心)是一个管理Docker容器镜像存储和交付的应用程序。注册中心集中容器镜像并减少开发人员的构建时间。Docker镜像通过虚拟化保证相同的运行环境，但是构建镜像需要大量的时间投入。例如，开发人员可以从包含所有必要组件的注册中心下载压缩镜像，而不是单独安装依赖项和包来使用Docker。Buddy自动将镜像推送到注册中心，以在生产和开发过程中无缝更新镜像。Docker Hub是一个免费公共的注册中心，可以托管您的自定义Docker镜像，但在某些情况下您不希望您的镜像公开使用。
linux cgroup限制cpu,Linux Cgroup系列（05）：限制cgroup的CPU使用（subsystem之cpu）
weixin_39558221的博客
05-14 286
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？描述在cgroup里面，跟CPU相关的子系统有cpusets、cpuacct和cpu。其中cpuset主要用于设置CPU的亲和性，可以限制cgroup中的进程只能在指定的CPU上运行，或者不能在指定的CPU上运行，同时cpuset还能设置内存的亲和性。设置亲和性一般只在比较特殊的情况才用得着，所以这里不做介绍。cpuac...
使用linux的cgroup限制数据库使用cpu的资源
文档搬运工
01-14 562
rdbms： 11.2.0.3 OS：Oracle Linux 5.11 exadata ：11.2.3.2.0 可以参考文档：MOS： Using PROCESSOR_GROUP_NAME to bind a database instance to CPUs or NUMA nodes on Linux (Doc ID 1585184.1) [root@exadb01 oracle]...
CGroup 限制CPU/内存等资源的使用
haima1998的专栏
10-21 5433
转自:https://blog.csdn.net/kwame211/article/details/78730705 http://xiezhenye.com/2013/10/%E7%94%A8-cgroups-%E7%AE%A1%E7%90%86-cpu-%E8%B5%84%E6%BA%90.html CGroup 介绍 CGroup 是 Control Groups 的缩写，是 Linux...
使用cgroup控制CPU使用率
Jackie的家
11-19 296
使用cgroup控制CPU使用率的相关资料。
Linux CGroup资源限制（概念&限制进程CPU使用）
最新发布
weixin_45565886的博客
06-04 2965
Linux CGroup资源限制（概念&限制进程CPU使用）
Cgroup对CPU资源的分配功能测试
qq_44998067的博客
11-09 733
测试环境：Ubuntu，内存大小：2048MB，处理器数量：1CPU。 首先在/sys/fs/cgroup/cpu下创建cpu子控制群组cg1。 并在cg1下创建控制群组cg2和cg3。 分别在控制群组cg2和cg3下运行程序cpu_test1和cpu_test2。（cpu_test1和cpu_test2均为死循环，在没有限制的情况下会耗尽所有的CPU资源） 用top命令查看各个进程的CPU利用率。 由于控制群组cg2和cg3下的参数cpu.shares相同，均为1024，因此在单处理器的Linux
cgroup学习（七）——cpu子系统 && （八）——CPUSET子系统
JK198310的专栏
07-10 5321
CPU子系统         对于CPU子系统最常见的参数就是cpu.shares，我们来通过《cgroup学习（三）——伪文件》的表格来跟踪一下对该参数的读写操作。         通过systemtap我们可以看到读的bt：（cat cpu.shares） [html] view plaincopy 2327 (cat) cpu_shares
cgroup中对cpu资源控制的方式
Johnny_Li的博客
03-15 575
cgroup中对cpu资源控制的方式大约有三种： 1、通过cpu子系统中的 cpu quote 方式 2、通过cpu子系统中的 cpu share 方式 3、通过cpuset子系统中的 cpuset 将任务绑定到相应的cpu核上 ...
cgroup之cpu关键参数
weixin_34332905的博客
05-23 187
cpu.cfs_period_us specifies a period of time in microseconds (µs, represented here as "us") for how regularly a cgroup's access to CPU resources should be reallocated. If tasks in a cgroup should be ...
Docker Swarm节点证书安全轮换与最佳实践
"该资源是一份关于Docker容器安全的指南，主要涵盖了Docker Swarm节点证书的适当轮换以及一系列Docker容器的最佳安全实践。内容包括如何定期更换Swarm节点证书以确保集群安全性，以及一系列针对Docker主机、守护进程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值