docker——8、Docker的系统资源限制及验证

最新推荐文章于 2023-03-14 10:05:07 发布
最新推荐文章于 2023-03-14 10:05:07 发布
阅读量295 收藏
点赞数
分类专栏： docker 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/change_can/article/details/86716323
版权

1、限制容器的资源

默认情况下，容器没有资源限制，可以使用主机内核调度程序允许的尽可能多的给定资源。
Docker提供了控制容器可以使用多少内存或CPU的方法，设置docker run命令的运行时配置标志。

2、内存

2.1 内存不足的风险
　　重要的是不要让正在运行的容器占用太多的主机内存。在Linux主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出一个OOME 或者 Out Of Memory Exception，并开始查杀进程以释放内存。任何进程都会被杀死，包括Docker和其他重要的应用程序。如果错误的进程被杀死，这可以有效地降低整个系统。
　　Docker尝试通过调整Docker守护程序上的OOM优先级来降低这些风险，以便它比系统上的其他进程更不可能被杀死。容器上的OOM优先级未调整。这使得单个容器被杀死的可能性比Docker守护程序或其他系统进程被杀死的可能性更大。您不应试图通过--oom-score-adj 在守护程序或容器上手动设置为极端负数或通过设置容器来绕过这些安全措施--oom-kill-disable。
　
　　可以通过以下方式降低OOME导致系统不稳定的风险：

  • 在将应用程序投入生产之前，请执行测试以了解应用程序的内存要求。
  • 确保您的应用程序仅在具有足够资源的主机上运行。
  • 限制容器可以使用的内存量，如下所述。
  • 在Docker主机上配置交换时要小心。交换比内存更慢且性能更低，但可以提供缓冲以防止系统内存耗尽。
  • 考虑将容器转换为服务，并使用服务级别约束和节点标签来确保应用程序仅在具有足够内存的主机上运行

2.2 限制容器对内存设有的设置
　　Docker可以强制执行硬内存限制，允许容器使用不超过给定数量的用户或系统内存或软限制，这允许容器使用尽可能多的内存，除非满足某些条件，例如内核检测到主机上的低内存或争用。当单独使用或设置了多个选项时，其中一些选项会产生不同的效果。
　　大部分的选项取正整数，跟着一个后缀b，k， m，g表示字节，千字节，兆字节或千兆字节。

选项描述
-m or --memory=容器可以使用的最大内存量。如果设置此选项，则允许的最小值为4m。
–memory-swap *允许此容器交换到磁盘的内存量。
–memory-swappiness默认情况下，主机内核可以交换容器使用的匿名页面的百分比。您可以设置--memory-swappiness 0到100之间的值，以调整此百分比。
–memory-reservation允许您指定小于软件限制的软限制--memory，当Docker检测到主机上的争用或内存不足时，该限制将被激活。如果使用--memory-reservation，则必须将其设置为低于--memory 优先级。因为它是软限制，所以不保证容器不超过限制。
–kernel-memory容器可以使用的最大内核内存量。允许的最小值是4m。由于内核内存无法换出，因此内核内存不足的容器可能会阻塞主机资源，这可能会对主机和其他容器产生副作用。
–oom-kill-disable默认情况下，如果发生内存不足（OOM）错误，内核会终止容器中的进程。要更改此行为，请使用该–oom-kill-disable选项。仅在已设置-m/–memory 选项的容器上禁用OOM杀手。如果-m 未设置该标志，则主机可能会耗尽内存，并且内核可能需要终止主机系统的进程才能释放内存。

2.2.1 --memory-swap 设置
（1）介绍
　　--memory-swap 是一个修饰符标志，只有在–memory 设置时才有意义。使用swap允许容器在容器耗尽可用的所有RAM时将多余的内存需求写入磁盘。对于经常将内存交换到磁盘的应用程序，性能会受到影响。

（2）它的设置会产生复杂的效果：

  • 如果**–memory-swap 设置为正整数**，那么这两个–memory和 --memory-swap必须设置。–memory-swap 表示可以使用的memory and swap，并**–memory控制非交换内存(物理内存)**使用的量。所以如果–memory="300m"和–memory-swap=“1g”，容器可以使用300米的内存和700米（1g - 300m）swap。
  • 如果**–memory-swap 设置为0**，则忽略该设置，并将该值视为未设置。
  • 如果**–memory-swap设置为与值相同的值–memory**，并且**–memory设置为正整数**，则容器无权访问swap。请参考下面阻止容器使用交换。
  • 如果**–memory-swap 未设置并–memory设置**，则容器可以使用两倍于–memory设置的swap，主机容器需要配置有swap。例如，如果设置–memory="300m"和–memory-swap 未设置，容器可以使用300米的内存和600米的swap。
  • 如果**–memory-swap明确设置为-1**，则允许容器使用无限制swap，最多可达宿主机系统上可用的数量。
  • 在容器内部，工具如free报告主机的swap，而不是容器内真正可用的内存。不要依赖free 或类似工具来确定是否存在swap。

（3）防止容器使用交换
　　如果**–memory 和–memory-swap设置为相同的值，则可以防止容器使用swap**。这是因为–memory-swap 可以使用的memory and swap，而–memory只是可以使用的物理内存量。
在这里插入图片描述

2.2.2 --memory-swappiness 设置

  • 值为0将关闭匿名页面交换。
  • 值100将所有匿名页面设置为可交换。
  • 默认情况下，如果未设置–memory-swappiness，则值将从主机继承。

2.2.3 --kernel-memory 设置
（1）介绍
内核内存限制以分配给容器的总内存表示。请考虑以下方案：

  • 无限内存，无限内核内存：这是默认设置。
  • 无限内存，有限的内核内存：当所有cgroup所需的内存量大于主机上实际存在的内存量时，这是合适的。您可以将内核内存配置为永远不会覆盖主机上可用的内容，而需要更多内存的容器需要等待它。
  • 有限的内存，无限的内核内存：整体内存有限，但内核内存不受限制。
  • 有限的内存，有限的内核内存：限制用户和内核内存对于调试与内存相关的问题非常有用。如果容器使用意外数量的任一类型的内存，则内存不足而不会影响其他容器或主机。在此设置中，如果内核内存限制低于用户内存限制，则内核内存不足会导致容器遇到OOM错误。如果内核内存限制高于用户内存限制，则内核限制不会导致容器遇到OOM。

当您打开任何内核内存限制时，主机会根据每个进程跟踪“高水位线”统计信息，因此您可以跟踪哪些进程（在本例中为容器）正在使用多余的内存。通过/proc/<PID>/status在主机上查看，可以在每个过程中看到这一点。

3、CPU

默认情况下，每个容器对主机CPU周期的访问权限是不受限制的。
您可以设置各种约束来限制给定容器访问主机的CPU周期。
大多数用户使用和配置 默认CFS调度程序。
在Docker 1.13及更高版本中，您还可以配置 实时调度程序。

3.1 配置默认CFS调度程序
　　CFS是用于普通Linux进程的Linux内核CPU调度程序。多个运行时标志允许您配置容器具有的CPU资源访问量。使用这些设置时，Docker会修改主机上容器的cgroup的设置。

选项描述
–cpus=指定容器可以使用的可用CPU资源量。例如，如果主机有两个CPU并且你已设置–cpus=“1.5”，则容器最多保证一个半CPU。这相当于设置–cpu-period=“100000” 和 --cpu-quota=“150000”。可在Docker 1.13及更高版本中使用。
–cpu-period=指定CPU CFS调度程序周期，它与并用 --cpu-quota。默认为100微秒。大多数用户不会更改默认设置。如果您使用Docker 1.13或更高版本，请–cpus 使用。
–cpu-quota=对容器施加CPU CFS配额。–cpu-period限制前容器限制为每秒的微秒数。作为有效上限。如果您使用Docker 1.13或更高版本，请–cpus改用。
–cpuset-cpus限制容器可以使用的特定CPU或核心。如果您有多个CPU，则容器可以使用逗号分隔列表或连字符分隔的CPU范围。第一个CPU编号为0.有效值可能是0-3（使用第一个，第二个，第三个和第四个CPU）或1,3（使用第二个和第四个CPU）。
–cpu-shares将此标志设置为大于或小于默认值1024的值，以增加或减少容器的重量，并使其可以访问主机的CPU周期的较大或较小比例。仅在CPU周期受限时才会强制执行此操作。当有足够的CPU周期时，所有容器都会根据需要使用尽可能多的CPU。这样，这是一个软限制。–cpu-shares不会阻止容器以群集模式进行调度。它为可用的CPU周期优先考虑容器CPU资源。它不保证或保留任何特定的CPU访问权限。

4、操作演示

4.1 准备工作
（1）先查询宿主机的资源：

# CPU资源
[root@node2 ~]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                4
On-line CPU(s) list:   0-3
Thread(s) per core:    1
Core(s) per socket:    1
Socket(s):             4
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 44
Model name:            Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz
Stepping:              2
CPU MHz:               2128.049
BogoMIPS:              4256.09
Hypervisor vendor:     VMware
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              8192K
NUMA node0 CPU(s):     0-3
#  内存、swap资源
[root@node2 ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:           2.0G        1.0G        267M         26M        692M        698M
Swap:          2.0G        129M        1.9G

（2）在dockerhub 下载一个用于压测的镜像

[root@node2 ~]# docker pull lorel/docker-stress-ng

（3）该压测镜像的使用方法

[root@node2 ~]# docker run --name stress --rm lorel/docker-stress-ng:latest stress --help

使用–help 可以查询此压测镜像的用法
例：

stress-ng --cpu 8 --io 4 --vm 2 --vm-bytes 128M --fork 4 --timeout 10s

语法：

 -c N, --cpu N 		启动N个子进程（cpu）
 --vm N 			启动N个进程对内存进行压测
 --vm-bytes 128M 	每个子进程使用多少内存（默认256M）

4.2 测试内存限制
（1）现在最大使用内存启动容器

[root@node2 ~]#  docker run --name stress --rm -m 256m lorel/docker-stress-ng:latest stress --vm 2
stress-ng: info: [1] defaulting to a 86400 second run per stressor
stress-ng: info: [1] dispatching hogs: 2 vm
 
[root@node2 ~]#  docker stats stress
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT   MEM %               NET I/O             BLOCK I/O           PIDS
e1fdb0520bad        stress              8.22%               254MiB / 256MiB     99.22%              648B / 0B           46.9MB / 3.63GB     5
[root@node2 ~]# docker top stress  #查看开启了4个子进程
UID                 PID                 PPID                C                   STIME               TTY                 TIME                CMD
root                2686                2664                0                   11:11               ?                   00:00:00            /usr/bin/stress-ng stress --vm 2
root                2724                2686                0                   11:11               ?                   00:00:00            /usr/bin/stress-ng stress --vm 2
root                2725                2686                0                   11:11               ?                   00:00:00            /usr/bin/stress-ng stress --vm 2
root                3686                2724                22                  11:12               ?                   00:00:01            /usr/bin/stress-ng stress --vm 2
root                3812                2725                20                  11:12               ?                   00:00:00            /usr/bin/stress-ng stress --vm 2

注释：

 -m 256m 		限制此容器最大只能使用256m 内存；
 --vm 2    		启动压测容器，使用256x2=512m的内存；
 docker stats 	结果查询，容器实际使用内存不能超过256m

4.3 测试CPU限制
（1）限制最大使用2核CPU

[root@node2 ~]# docker run --name stress --rm --cpus 2 lorel/docker-stress-ng:latest stress --cpu 8
stress-ng: info: [1] defaulting to a 86400 second run per stressor
stress-ng: info: [1] dispatching hogs: 8 cpu
 
[root@node2 ~]# docker stats stress
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O           PIDS
ca86c0de6431        stress              199.85%             15.81MiB / 7.781GiB   0.20%               648B / 0B           0B / 0B             9

（2）不限制使用CPU核数

[root@node2 ~]# docker run --name stress --rm lorel/docker-stress-ng:latest stress --cpu 8
stress-ng: info: [1] defaulting to a 86400 second run per stressor
stress-ng: info: [1] dispatching hogs: 8 cpu
 
[root@node2 ~]# docker stats stress
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O           PIDS
167afeac7c97        stress              399.44%             15.81MiB / 7.781GiB   0.20%               508B / 0B           0B / 0B             9

（3）绑定CPU内核

[root@node2 ~]# docker run --name stress -it --cpuset-cpus 0,2 --rm -m 256m lorel/docker-stress-ng:latest stress --cpu 8
stress-ng: info: [1] defaulting to a 86400 second run per stressor
stress-ng: info: [1] dispatching hogs: 8 cpu
[root@node2 ~]# docker stats stress
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT   MEM %               NET I/O             BLOCK I/O           PIDS
e5dfc240472d        stress              201.36%             37.47MiB / 256MiB   14.64%              648B / 0B           16.4kB / 0B         9

[root@node2 ~]# docker run --name stress -it --cpu-shares 1024 --rm -m 256m lorel/docker-stress-ng:latest stress --cpu 8
stress-ng: info: [1] defaulting to a 86400 second run per stressor
stress-ng: info: [1] dispatching hogs: 8 cpu
[root@node2 ~]# docker stats stress
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT   MEM %               NET I/O             BLOCK I/O           PIDS
0f4d0412fe24        stress              393.84%             37.94MiB / 256MiB   14.82%              648B / 0B           0B / 0B             9
change-can
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker资源控制
Guiled7的博客
03-07 661
docker资源控制 一、CPU资源控制 cgroups，是一个非常强大的1inux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。所以 cgroups (Control groups) 实现了对资源的配额和度量。 cgroups有四大功能: 资源限制:可以对任务使用的资源总额进行限制 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级 资源统计:可以统计系统的资源使用量，如cpu时长，内
Docker（三）资源控制
weixin_33675507的博客
08-13 76
Docker资源控制 Cgroup是Control group的简写，是Linux内核提供的一种限制所使用物理资源的机制，这些资源主要包括CPU、内存、blkio。下面就这三个方面说一下Docker是如何使用Cgroup机制进行管理 1：限制CPU使用速率 在Docker中可以通过 --cpu-quota选项来限制CPU使用速率，CPU的百分比是以1000为单位 查看CPU使用率 [root@xy...
docker 的资源控制和数据管理
qq_44135433的博客
11-12 120
文章目录一、CPU控制1.0 cgroups四大功能1.1 设置CPU使用率上限1.2 设置CPU资源占用比（设置多个容器时才有效）二、对内存使用进行限制三、对磁盘IO配额控制(blkio)的限制 一、CPU控制 cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace隔离起来的资源, 还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。 1.0 cgroups四大功能 资源限制:可以对任务使用的资
Docker资源限制
Hannah_zh的博客
09-18 1191
blkio： 这个subsystem可以为块设备设定输入/输出限制，比如物理驱动设备（包括磁盘、固态硬盘、USB等）。 cpu： 这个subsystem使用调度程序控制task对CPU的使用。 cpuacct： 这个subsystem自动生成cgroup中task对CPU资源使用情况的报告。 cpuset： 这个subsystem可以为cgroup中的task分配独立的CPU（此处针对多处理器系统...
如何使用docker 对容器资源限制
Nine0820的博客
02-25 1816
在使用 docker 运行容器时，一台主机上可能会运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。 docker 作为容器的管理者，自然提供了控制容器资源的功能。正如使用内核的 namespace 来做容器之间的隔...
010 Docker的系统资源限制及验证.mp4
05-07
010 Docker的系统资源限制及验证.mp4
Docker —— 从入门到实践-122022571
08-03
介绍增加 树莓派单片电脑安装 Docker增加 Docker 存储驱动OverlayFS 相关内容更新 Docker CE安装说明更新 Docker 网络一节更
Docker——初识和安装
01-07
Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更...
Docker —— 从入门到实践 v1.1.0
12-12
最新版2019-12-31： 全面支持 v19.x 新版本 增加 BuildKit 增加 docker buildx 命令使用说明 增加 docker manifest 命令使用说明 移除 Ubuntu 14.04 Debian 8 Debian 7
Docker——容器（Container）
01-07
启动容器：docker run # 下载 ubuntu 镜像 docker pull ubuntu # 创建容器并运行 docker run -it ubuntu /bin/bash 参数描述 -i: 交互式操作 -t: 终端 ubuntu: ubuntu 镜像 /bin/bash：放在镜像名后的是命令，这里...
操作数值超出系统的限制_cgroup内存限制不起作用的原因
weixin_39997311的博客
12-04 893
作者：禹鼎侯来源：SegmentFault 思否今天遇到一个cgroup资源限制时，内存限制不起作用的问题。一开始，对进程的cgroup设置最大内存限制为10M，但运行了几分钟以后，内存明显飙上去了，甚至达到了20多M。情景还原在memory.limit_in_bytes中设置如下：10485760表示的是字节数，也就是等于 1024 * 1024 * 10 = 10M。运行一段时间后，...
程序占用内存很小，但docker占用内存一直膨胀
THMAIL的博客
03-14 4641
综上可知，总内存占用高并非一定是内存泄露，在该案例中总内存占用大是因为：频繁大量写日志导致linux内存页中的缓存一直被更新，linux采用最近最少使用的方式flash缓存到磁盘（猜测），因此频繁的读写导致内存中的缓存一直不释放；程序占用内存很小，只有几十MB，但总内存却一直增长，疑似内存泄漏。
kubectl top与docker stats内存不一致
xyclianying的博客
09-10 2779
名称 类型 单位 说明 container_memory_rss gauge 字节数 bytes RSS内存，即常驻内存集（Resident Set Size），是分配给进程使用实际物理内存，而不是磁盘上缓存的虚拟内存。RSS内存包括所有分配的栈内存和堆内存，以及加载到物理内存中的共享库占用的内存空间，但不包括进入交换分区的内存。 container_memory_usage_bytes gauge 字节数 bytes 当前使用的内存量，包括所有使用的内存，不管有没有被访问。 con...
docker中内存泄漏，不同内存record方法的准确度对比
weixin_38621239的博客
11-30 813
docker中内存泄漏，不同内存统计方法的对比
docker容器内linux内存,对比：Docker和容器内进程内存计算差别
weixin_34385646的博客
05-06 557
生产环境上了大规模容器集群后，肯定需要对容器进行监控，容器的编排我们采用了Kubernetes，监控前期采用了Weave Scope，后期采用了cAdvisor+Heapster+InfluxDB的方案，刚开始监控感觉并没有什么异常，但是集群运行久了之后，发现监控的指标和预想的并不一样。我们有对应的Java应用跑在容器中，每个Container的资源限制了4C16G(看起来和虚机一样夸张)，JVM...
docker的系统资源限制及验证
紫色飞猪
10-30 2692
限制容器的资源 默认情况下，容器没有资源限制，可以使用主机内核调度程序允许的尽可能多的给定资源。 Memory 内存风险 不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME或Out of Memory异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果...
Docker 运行时资源限制
热门推荐
勤能补拙
12-18 4万+
Docker 运行时资源限制Docker 基于 Linux 内核提供的 cgroups 功能，可以限制容器在运行时使用到的资源，比如内存、CPU、块 I/O、网络等。内存限制概述Docker 提供的内存限制功能有以下几点： 容器能使用的内存和交换分区大小。 容器的核心内存大小。 容器虚拟内存的交换行为。 容器内存的软性限制。 是否杀死占用过多内存的容器。 容器被杀死的优先级 一般情况下，达到内存限制
docker容器运行和资源限制
bin的专栏
01-13 5003
Docker学习笔记 一，运行容器 如图运行容器 容器执行完命令后就退出了。 容器的生命周期依赖于启动时执行的命令，只要该命令不结束，容器也就不会退出。 可以通过加上参数-d以后台方式启动容器，如图 CONTAINER ID 是容器的短id，前面启动容器时返回的使长id。短id是长id的前12个字符。 NAMES字段显示容器的名字，在启动容器时可以通过–name参数显
docker stats命令查看Docker显示容器资源使用情况
weixin_40482816的博客
06-17 5548
JMeter 启动方法 进入 JMeter 根目录下的 bin 文件夹中(启动方式有 3 种，任选其一即可!) ·鼠标左键双击 jmeter.bat ·鼠标左键双击 ApacheJMeter.jar ·在当前路径下的命令行窗口中输入：java -jar ApacheJMeter.jar 步骤5: JMeter 基本使用 ·汉化界面: 前往"Options" -> "Choose Language" -> Chinese(Simplified) 注意: 此步骤为临时汉化, 下.
《docker —— 从入门到实践》
最新发布
12-30
总的来说，《Docker —— 从入门到实践》是一本很好的Docker入门书籍，适合有一定编程和系统管理基础的读者。它的内容丰富有趣，通俗易懂，通过读这本书，读者可以快速上手使用Docker，并能够在实践中不断深化对容器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值